なぜあなたのA/Bテストはうまくいくのか？A/Bテストの分析で注意すること | CyberAgent Developers Blog
概要 同じ介入を比較するA/Aテストで統計的に有意な差が出てしまうケースがある その原因は、A/Bテストの指標の設計に失敗していることかもしれない この問題の対処法としてユーザベースCTR、デルタメソッド、クラスターロバスト標準誤差を紹介する これらの手法は実務で運用する上では一長一短 はじめに AI事業本部Dynalystの伊藤、小売セクターの藤田(@6km6km)です。 DynalystはReal Time Biddingと呼ばれる広告オークションにおいて広告枠の買付を行うプラットフォーム（DSP: Demand Side Platform）です。DSPでは、ユーザに広告を表示する際に複数あるクリエイティブの候補からひとつクリエイティブを選ぶ必要があり、その選択ロジックにバンディットアルゴリズムを用いています。（参考リンク1, 2） 以下では、バンディットアルゴリズムのA/Bテストをす
[書評]『データ分析のためのデータ可視化入門』と最近の R グラフィックスパッケージ事情 - ill-identified diary
概要Healy (2018) “Data Visualization: A Practical Introduction” の邦訳『データ分析のためのデータ可視化入門』をもらったので, この本のレビューと本書ではあまり取り上げられていない, R グラフィックスをさらに活用するためのヒントを提示する. 2021/9/24 追記: 『Python ユーザでも『データ可視化入門』で練習できるようにパッケージを作った + Plotnine との互換性ガイド - ill-identified diary』に書いたように, Python でも matplotlib のような煩雑な構文に惑わされずにこの本で紹介されているような方法を実現するためのパッケージ/用例を作ってみた. 概要 初めに 本書の特徴 どういう本なのか どういう人が読むとよいか 邦訳に対する細かいツッコミどころ 本書を読んだ人におすすめ
![[書評]『データ分析のためのデータ可視化入門』と最近の R グラフィックスパッケージ事情 - ill-identified diary](https://cdn-ak-scissors.b.st-hatena.com/image/square/cd25329b12103aaf85ad64d5ed598cdc72f51801/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fi%2Fill-identified%2F20210203%2F20210203222306.jpg)
はじめに コークハイとか酎ハイをお店で飲むと、割り方とかレモンが効いていたりとかでお店によって結構違いが出ますよね 自分好みの最高のコークハイの作り方を知ることは全人類の夢だと思います。 本記事は一足先にそんな夢に挑戦したという記事です。 手法としてはベイズ最適化を使用します。 実データで実験計画と絡めながらベイズ最適化を実際に行う記事はあまり見かけなかったので今回は、 最適化パラメータ 1. コーラとウイスキーの比 2. レモン汁の量 目的変数 コークハイの美味しさ という2次元入力、1次元出力で実際に実験とチューニングを並行しながら行ってみたいと思います。 目次 はじめに ベイズ最適化とは 実験系の説明 実験条件 実験で考慮しないこと(パラメータ) 実験材料 実験方法 スコアの付け方 実験をやりました（本題） 実装コード 実験開始 ARDありver. 反省点 さいごに ベイズ最適化とは
Cloud compute is usually seen as an ethereal resource. You launch VMs and spin them down, billed to the second. The billing and the mental model make it seem like these resources are limitless. That's typically one of the selling points versus on-prem compute. They can scale responsively to your load so you're not paying for excess compute that you don't need but it's there when you want it. Of co
はじめに 本記事は 機械学習をどう学んだか by 日経 xTECH ビジネスAI② Advent Calendar 2019 の8日目になります。 これから市場に漕ぎ出していく初学者の方々の参考になれば幸いです。 プログラミング経験 学生時代 (ロボット工学、流体力学) : C/C++; 組み込み、数値流体計算、研究ツール Matlab; 現代制御理論の授業で少々 前職 (ADAS) : C/C++; 組み込み、社内ツール Python; アルゴリズムのプロトタイピングやデータ整理 ※AI関係ではない 現職 (建築・土木の施工管理) : C++; 組み込み Python; 機械学習・Deep Learning JavaScript (Node.js, GoogleAppsScript)・HTML・CSS; 社内ツール Julia; 興味本位で触れてみている C/C++, Matlabは
機械学習の実験管理ツールにGuild AIというものがあります。特に大きな特徴はコード追加なしで実験管理ができるというものです。 試しに触ってみたところ、まさにコード追加なしで簡単に試せる、ちょっとした条件を変えた実行も簡単、結果の可視化はシンプルなCLIもリッチなGUIもどちらも用意されている、ローカルだけではなくS3にもデータを保存できる、しかもWebサーバを別に立てる必要がなく手元の環境で完結します。 ただ、Guild AIは一部の方にSNS上で言及されているものの日本語で書かれたドキュメントやブログは見つかりませんでした。良いツールが埋もれるのはもったいないと思いGuild AIの記事を書くことにしました。 この記事の前半では実行条件を変えながら実行して結果を可視化するまでの流れを紹介します。Guild AIのお手軽さをお伝えすることを意識しました。 後半はある程度実務での状況を想
RからPythonへのお引越しでわかること - Jupyterと世界の野球から理解する - Lean Baseball
サムネイルがまんま結論の一部です&タイトルでビビッと来たアナタ（+野球好き）が対象読者です. ちょっとやりたいことがあって, やりたいこと⚾のサンプルがたまたまRだった このあと自分で分析したりなにか作るんやったらPythonでやりたい せや！RからPythonに移植しちゃえば良いンゴ ってことで, 粛々とRからPythonに移植した時に気がついた事をサラッと書きたいと思います. 最初に断っておくと, RよりPythonが優秀（またはその逆）だから書き換える！って意味ではありません！ どっちが優秀だの, 好みは何だのといった所は（必要と思った箇所を除き）触れないのでご了承ください.*1 というわけで, 変に力んだりマウントを取ること無く, ごゆるりとおくつろぎながら読んでもらえると幸いです. TL;DR 数式を意識しながら読んだり, 統計的にいい感じにしたい時はRの方がしっくりくる. 一方
Understanding Z-Index in CSS
@shadeed9 Understanding Z-Index in CSS A visual guide on how z-index and stacking contexts work in CSS. What is Z-Index?The z-index property defines the order of the elements on the z-axis. Basically, it works on elements with a position value other than static. The duck and the ring are within the same parent (the water). Can you guess which will come in front of the other? <div class="water"> <d
ドリフト問題に対策したゲームパッド「GameSir G7 SE」を購入したら大満足だった話 ライター：BRZRK ヘタれるアナログスティックに辟易しない？ 4Gamerでは主にマウス関連の記事を執筆している筆者だが，「ゲームをプレイするときはマウス＋キーボード」というこだわりがあるわけではない。遊ぶタイトルやジャンルによっては，ゲームパッドをメインに使用することがある。 ゲームパッドを長期間使用していて困るのが，アナログスティックがヘタれるドリフト問題だ。アナログスティックから手を離して触れていないのに，いずれかの方向に入力していると判定されてしまい，勝手に視点やキャラクターが動いてしまうアレである。 使い込んだコントローラがドリフトを発症！ 意図しない動作に悲しい思いをする，というのを経験したことがあるゲーマーは多いだろう 筆者はこれまで，ゲームパッドにドリフトが生じた場合，最初の頃は素
Building a dialog component Stay organized with collections Save and categorize content based on your preferences. A foundational overview of how to build color-adaptive, responsive, and accessible mini and mega modals with the <dialog> element. In this post I want to share my thoughts on how to build color-adaptive, responsive, and accessible mini and mega modals with the <dialog> element. Try th
タイトル通り、入力線画を(基本的には)1pixelも変えずに画像生成AIに色塗りをさせる方法について解説していきます。 本題に入る前に そもそも画像生成AIによる色塗り（着彩）について知らない方向けに、既存技術でAIに色塗りをさせるとはどのような事を指すか？またどのような課題があるか？について一度整理します。 画像生成AIによる着彩 テキストから画像を生成できるという事で一躍有名になった画像生成AIですが、テキストだけでは生成したい画像を詳細に指示することが困難であるという課題を抱えていました。 そこで、テキストと比較してより具体的に生成したい画像を指示する方法として。ControlNetを用いた画像とテキストを入力して新たな画像を生成する手法が現れます。 この応用として、色塗りがされていない線画と指示テキストを入力することで、入力した線画に対し色を塗った状態の画像を生成するという方法が存
安井翔太著『効果検証入門』を読了しました。 因果推論や統計の基礎を学ぶ上でとても良い本でしたが、同時に作者のRコードもかなり洗練されていてRの勉強にもなりました。そこで今回は書籍で紹介されているコードの中からとくにエレガントだと思った箇所を５か所ピックアップしました。 コード全文はここにあります 第５位：エラーバーのプロット ggplot2でエラーバーをプロットするのは地味に面倒だが、お手本のようなコードなので、このままコピペして使える using_voucher_results %>% ggplot(aes(y = estimate, x = model_index)) + geom_point() + geom_errorbar(aes(ymax = estimate + std.error*1.96, ymin = estimate - std.error*1.96, width =
今回は初心に帰って類似文章検索です。連載の第1回で扱ったネタですが、 BERT を用いて再挑戦してみましょう。BERT のモデルは Hagging Face Transformers の事前学習済みモデルを用いるので、お手軽に試せるかと思います。手法としては Sentence BERT を用い、おまけとして Poor Man's BERT についても紹介します。 （本記事公開後に公開されたデータセットで再検証しています。最新情報は 第18回 をご覧ください。 2021.12.21 追記） 1. はじめに 本記事では Sentence BERT 1による類似文章検索について、学習や推論のコード例と実験結果を交えてご紹介します。前々から Sentence BERT を試したいと考えていたものの、教師あり学習に必要な日本語の類似文データが用意できずにいました。その後、画像キャプションのデータセッ
SHAPで因果関係を説明できる？ - Qiita
はじめに 予測モデル（機械学習モデル）を解釈するのに有用なSHAPを用いて因果関係を説明することができるか、についてPythonによるシミュレーションを交えてまとめました。内容に誤り等ございましたら、ご指摘いただけますと幸いです。 結論 基本的に、SHAPで因果関係は説明できません。これは、SHAPが予測モデルの因果ではなく相関を明らかにするものであるからです。 そこで今回は、予測モデルをSHAPで解釈する上でありがちなミスリーディングや、それに関連する因果効果を推定するためのアプローチについて記載しています。 そもそもSHAPとは SHAPとはSHapley Additive exPlanationsの略で、協力ゲーム理論のShapley Valueを機械学習に応用した手法です。「その予測モデルがなぜ、その予測値を算出しているか」を解釈するためのツールとしてオープンソースのライブラリが開
CodeFormerで、低画質の顔画像を高画質化する
1.はじめに 今回ご紹介するのは、Transfomer ベースの予測ネットワークを使うことによって、低画質の顔画像を高画質化する CodeFormer という技術です。 ＊この論文は、2022.6に提出されました。 2.CodeFomerとは？ 下記は、CodeFormerの概要図で、２段階で学習を行います。まず、（a）自己再構成学習を行います。高画質画像（Ih）から高画質エンコーダー（HQ Encoder）を通して画像特徴量（Zh）を抽出し、ニアレストネイバー法（Nearest-Neighbor Matching）で離散コードブック（Codebook C）にマッピングし、デコーダー（HQ Decoder）で高画質画像に戻すことを学習します。ここで学習した離散コードブック以降は次で使用します。 次に、（b）最終的なネットワークの学習を行います。低画質画像（IL）から低画質エンコーダー（LQ
はじめに 令和元年の台風19号の被害が凄いことになっていますが、様々な河川の氾濫が報道されています。気候変動の影響があり、今回のような規模の水害は想定できなかったという意見も聞こえてきますが、本当にそうなのかと素人ながら疑問に思っていました。というのも、堤防を作る際に、異常降水を外れ値とみなして削除して計算しているということも耳にしたからです。 そんなわけで、今回は異常値を外れ値とはみなさない極値理論を用いて、今回の氾濫が推定できたのか検証してみました。 ＜やったこと＞ PythonのBeautiful Soupを使ったスクレイピング RのAmeliaを使った多重代入法による時系列分析の欠損値補完 RのismevとextRemesを使った極値理論解析 ＜環境＞ Windows Subsystem for Linux Ubuntu 18.04 Python 3.6 R 3.6.0 極値理論と
ウェブブラウザ「Brave」のインストール数が急増、Appleがデジタル市場法準拠のためブラウザ選択画面を追加した影響か
プライバシー重視のウェブブラウザとして知られる「Brave」のiOS版のインストール数が、2024年3月に入って急増していることがBrave Softwareの報告で明らかになりました。 Brave: Sharp increase in installs after iOS DMA update in EU https://www.bleepingcomputer.com/news/technology/brave-sharp-increase-in-installs-after-ios-dma-update-in-eu/ Brave browser daily installs have increased by 30% since the beginning of DMA - MSPoweruser https://mspoweruser.com/brave-browser-daily
最終更新日時： 2022年2月4日 今回は、「記憶力」をアップさせるための方法をお伝えします。 ビジネス、勉強、資格取得など様々な場所で必要になってくる記憶力ですが今回お伝えする4つの方法を効果的に活用してあなたのスキルアップに活用してください。 今回の内容は、かなり初歩的なことですが、非常に重要なことなのでぜひとも頭の片隅の記憶に留めておいていただけたらと思います。 この記事は次のような方にオススメの記事です。 今後資格の試験を受けろって言われたけど全く勉強がはかどらない、記憶力が完全に衰えて来ている…なにかいい方法無いかな 最近物忘れがひといからなにか記憶力向上にいい方法ないかしら わんわん（それって美味しいの？） こんな人におすすめの記事です 記憶力を向上させたい人。 資格試験や勉強などで記憶したいけど、なかなか記憶の定着が出来ない人。 最近物忘れがひどくなったと感じる人。 アラ
10月末、アニメ『ヘタリア World★Stars』が2021年春より「再始動」することが発表された。アニメ『ヘタリア』は、2009年から2015年にかけて合計6期がつくられており、2021年から始まるとされる新シリーズは、6年ぶり7期目となる。放映はいずれもネット配信を主としており、地上波では放映されていない。 アニメ『ヘタリア』は、日丸屋秀和による漫画『Axis powers ヘタリア』を原作としている。2006年に個人サイトのweb漫画として発信された同作は、2008年に商業化され、2014年以降は『ヘタリア World★Stars』が「少年ジャンプ＋」において連載中である。 6期の放映から期間を置いてのアニメ新作の発表は、昔からのファンを活気づかせた。しかし同時に、このコンテンツを「再始動」させることに対する戸惑いや不安を表明するファンもいた。『ヘタリア』の評価は、ファンも含めて二
【2022年・下半期ベストアルバム】 ・2022年下半期に発表されたアルバム（上半期に聴き逃したもの含む）の個人的ベスト20選（順位なし）です。 ・評価基準はこちらです。 http://closedeyevisuals.hatenablog.com/entry/2014/12/30/012322 個人的に特に「肌に合う」「繰り返し興味深く聴き込める」ものを優先して選んでいます。 個人的に相性が良くなくあまり頻繁に接することはできないと判断した場合は、圧倒的にクオリティが高く誰もが認める名盤と思われるものであっても順位が低めになることがあります。「作品の凄さ（のうち個人的に把握できたもの）」×「個人的相性」の多寡から選ばれた作品のリストと考えてくださると幸いです。 ・これはあくまで自分の考えなのですが、他の誰かに見せるべく公開するベスト記事では、あまり多くの作品を挙げるべきではないと思ってい
ABEJAでデータサイエンティストをしている小林です。 今回は、もしかしたらいつか業務や機械学習コンペに役立つかもしれない情報、LightGBMで弱教師あり学習を行う方法についてお話します。 コードはこちらで公開しております。 目次 はじめに 弱教師あり学習の例（マルチインスタンス学習） LightGBMで弱教師あり学習がしたい！ PU分類 問題設定 解き方 LightGBMの実装 実験 Partial Label Learning 問題設定 解き方 LightGBMの実装 実験 マルチインスタンス学習 問題設定 解き方 LightGBMの実装 実験 おわりに はじめに 機械学習を行うためには、一般的に、大量の入力データと、それら一つ一つに対応した正確なラベルが必要です。 例えば、犬と猫の画像分類を行う場合には、それぞれの画像一つ一つに犬か猫のラベルがついていてほしいですね。 一方で場合に
西川善司の3DGE：GeForce RTX 40完全解説。シェーダの大増量にレイトレーシングの大幅機能強化など見どころのすべてを明らかに
西川善司の3DGE：GeForce RTX 40完全解説。シェーダの大増量にレイトレーシングの大幅機能強化など見どころのすべてを明らかに ライター：西川善司 GeForce GPUの新世代となる「GeForce RTX 40」シリーズが，10月12日にいよいよ発売となる（関連記事）。 GeForce RTX 40の開発コードネームは「Ada Lovelace」（エイダ・ラブレス，以下 Ada）。NVIDIAは，「GeForce 8800 GTX」以降のGPUに付ける開発コードネームに，物理学者やコンピュータサイエンス研究者の名前を冠している。Adaは，19世紀の数学者であり世界初のコンピュータプログラマ（もちろん機械式計算器だ）として知られるAda Lovelace氏にちなんだものだ。 本稿では，Ada世代のGeForce RTX 40が搭載する新技術や新機能がどのようなものなのか，新機能
不動産価格データを使って相場を推測する｜komeya
以前の記事で、せっかく日本全国の不動産取引価格データが取れたので、もう少し不動産価格モデルについて詳しくやってみる。また、ちょっと進んだ手法についても触れてみたい（これは別記事にしました。詳細はこちら。不動産価格データを使った相場分析ー世田谷区一棟マンション）。 価格データの加工と可視化以前紹介した通り、国土交通省の不動産価格取引情報検索からデータがダウンロードできる。これは全国をカバーしていて、2005年以降の20年近くのデータがある。サイトから一気に全国全期間のデータがダウンロードできる。 全国のデータは取れるが一気に全国データを扱うのは大変なので、簡単なモデルから徐々に複雑にしていく。こないだ世田谷のデータを使ったので、まずは世田谷区のデータを使う。こないだは過去１年に取引されたデータだけだったので、データが存在する１０年以上前の取引データも全部使ってみる。前回説明した通り、築年が元
はじめに ロシアのウクライナ侵略に強く抗議する。力によって他国を従わせる。こういったことを許してはいけない。ウクライナが既に受けた被害、これから起こるであろう受難に心を痛める。私は言葉を発することしかできない。だからせめて気は心だけでもとウクライナへのシンパシーを示したい。 私もJSF氏にならい、今後、ウクライナの地名のカタカナ表記については今後ウクライナ語由来のものに統一したいと思う。なお従来のロシア語由来表記については初出時に（ ）書きとして表記する。調べつつ書くので間違うかもしれないが間違いがあれば直していきたい。 news.yahoo.co.jp ロシアの進撃ルート 2022年2月24日、ロシアはウクライナを侵略した。イギリス国防省が2月17日にロシアの侵略ルート予測をツイートしたが、この予測はほぼ正しいようでロシアは主に３つのルートで戦っているように思える。 INTELLIGEN
ゼロから作るDeep Learning ❸
大ヒットを続ける人気シリーズの第3弾。今回は「DeZero」というディープラーニングのフレームワークをゼロから作ります。DeZeroは本書オリジナルのフレームワークです。最小限のコードで、フレームワークのモダンな機能を実現します。本書では、この小さな――それでいて十分にパワフルな――フレームワークを、全部で60のステップで完成させます。それによって、PyTorch、TensorFlow、Chainerなどの現代のフレームワークに通じる知識を深めます。キャッチフレーズは――作るからこそ、見えるモノ。 関連ファイル サンプルコード 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場合がありますので、書籍最終ページの奥付でお手持ちの書籍の刷
AWSチームのすずきです。 2020年9月26日(土)、 日本時間 PM 5:55 から PM 6:45 の間、日本のCloudFrontのエッジロケーションで断続的にエラーが発生していた件について、 CloudFrontのアクセスログを元に調査する機会がありましたので、紹介させて頂きます。 弊社ポータルのお知らせ 日本時間2020年9月27日(日) 5:47:45 CloudFront お知らせ 日本のエッジロケーションでエラーが上昇しておりました。| Elevated Errors from one of our edge... https://t.co/5qSz7x59vV — AWS障害情報(全リージョン) (@awsstatusjp_all) September 26, 2020 Athena(抽出) 国内に存在するエッジロケーションと推測されるアクセスログを Athenaで抽出
Pythonで点群処理ワンライナー
はじめに 2022年も終わりますね。 今年は点群処理が網羅的に解説された本が出たり、テキストから点群生成できるAIが出てきたり、いろいろ点群界隈も盛り上がっていたかと思います。 そんな正統派点群技術が盛り上がった年の最後に、闇の点群技術を紹介できればと思います。 Pythonワンライナーの世界 Pythonワンライナーとは、普通に書くと数行に渡りそうな処理をワンライナー(一行)で書くことで、ただただ自己満足・自己顕示欲のためだけに難解なコードを作成するアレなテクニックです。 この記事では一般的なPythonワンライナーコードではなく、点群処理に特化したアルゴリズムのワンライナーを紹介していきたいと思います。 前提条件 まず、本記事のテクニックではnumpyおよびscipyのみライブラリとして使用することを許可しています。 Open3Dまで使ってしまうと闇どころか完全なチートになってしまうの
フォント選びのノウハウを教える 「Google Fonts Knowledge」がリリース | Webマガジン「AXIS」 | デザインのWebメディア
Googleは、Google Fontsチームが世界のタイポグラフィの専門家と共同で手がけた、フォント選びのためのライブラリーサービス「Google Fonts Knowledge」をリリースした。 Google Fontsは、CSSとAndroidを通じて1,300を超えるフォントファミリーを無料で提供するサービス。今回追加されたGoogle Fonts Knowledgeは、あらゆるメディアのタイポグラフィの普遍的な原理をカバーしており、デザイナーと開発者がスキルや目的に合わせてフォントの選択・使用ができるようにわかりやすく教えてくれるという。 コンテンツとしては、3つのカテゴリーを通じて30以上のレッスンを紹介。たとえば、タイポグラフィのイロハを教えてくれる「書体入門」は、誰でも知識とスキルを身に付けることができる入門書となっている。 「書体の選択」では、ユーザーの好みのフォントを見
「JX通信社Advent Calendar 2019」10日目の記事です. 昨日は, @rychhrさんの「Pure WebSocketsをサポートしたAWS AppSyncでWebとiOS間のリアルタイムチャットを作ってみた(1)」でした. 改めまして, こんにちは. JX通信社でシニア・エンジニア&データ基盤エンジニアをしています, @shinyorke（しんよーく）と申します. JX通信社では, データ駆動での意思決定および施策実施をより円滑に進めるため, データ基盤の構築・運用を進めながらトライアル的に様々なFrameworkやツールの検証を行っています.*1 このエントリーでは, 私がシュッとPySparkで分散処理をする...前に, 手元で試したときの感想とその知見 のお話を残していきたいと思います. なお, 分散処理そのものの知見・ノウハウではなく, する前にPySparkに
はじめに こんにちは、ZOZO NEXT ZOZO ResearchのSai Htaung Khamです。ZOZO NEXTは、ファッション領域におけるユーザーの課題を想像しテクノロジーの力で解決すること、より多くの人がファッションを楽しめる世界の創造を目指す企業です。 ZOZO NEXTでは多くのアルゴリズムを研究開発しており、その中でJAXというライブラリを使用しています。JAXは高性能な機械学習のために設計されたPythonのライブラリです。NumPyに似ていますが、より強力なライブラリであると考えることができます。NumPyとは異なり、JAXはマルチGPU、マルチTPU、そして機械学習の研究に非常に有用な自動微分（Autograd）をサポートしています。 JAXはNumPyのAPIのほとんどをミラーリングしているので、NumPyライブラリに慣れている人なら非常に導入しやすいです。A
こんにちは。メルペイのMachine Learningチームの@hiroです。Merpay Advent Calendar 2021 の18日目の記事をお届けします。 機械学習の社会的重要性の高まり 近年、機械学習という技術領域が人口に膾炙し、多くの産業やプロダクトに用いられるようになってきています。機械学習は、アルゴリズムによって、蓄積されたデータのパターンを学習し、従来ひとの判断やルールベースで行ってきた意思決定を自動化、高精度化することで、様々な産業の生産性向上に寄与し、私達の生活を豊かにしてきました。私達の社会にとってなくてはならない技術領域のひとつになっています。 一方、そうした機械学習の自動判断において、結果的に差別的な振る舞いをしてしまったり、お客さまに不愉快な体験をさせてしまったりといった、社会にネガティブな影響を与えてしまう事案も発生しています。この記事で具体的な事例をと
OpenAI Embeddings APIとベクトル検索エンジンValdを使って類似文章検索をしてみよう
ベクトルの準備 次にタイトル文章をベクトル化していきます。 OpenAIのアカウントを作成し、こちらからAPIキーを取得し、それを環境変数OPENAI_API_KEYに設定した後、次のコードを実行するだけで、入力文章のベクトルを取得できます。 import os import openai openai.api_key = os.environ["OPENAI_API_KEY"] client = openai.OpenAI() def get_embedding(text, model="text-embedding-ada-002"): text = text.replace("\n", " ") return client.embeddings.create(input=[text], model=model).data[0].embedding get_embedding("入力し
ペンタゴンが誇る才女はキューバのスパイだった 2001年9月21日、911テロの十日後。 FBIはアメリカ国防省の傘下にあるアメリカ国防情報局のシニアアナリストであるアナ・モンテス（当時44歳）をスパイ容疑で逮捕しました。 彼女はアメリカの国防の情報を担う部門にいながら16年間もキューバのスパイとして活動をしており、それはテロ事件の直後にありながらもアメリカ人を驚愕させるに十分なニュースでした。 １. キューバのスパイになる アナ・モンテスは1957年プエルトリコ出身の両親の下に生まれました。祖父はアストゥリアス（スペイン北西部）出身で、一家のルーツはスペインにあります。 父親が米軍の軍医をしていた関係で生まれは西ドイツでしたが、その後メリーランド州に移り住みました。ヴァージニア大学を卒業後、司法省の事務スタッフとして勤務する傍ら、ジョンズホプキンズ大学大学院で学びました。 モンテスはもと
Legra - LEgo brick GRAphics
Legra (Lego brick Graphics) is a small (3.36KB gzipped) JavaScript library that lets you draw using LEGO® like brick shapes on an HTML <canvas> element. This library defines basic graphics primitives like lines, rectangles, polygons, ellipses, bézier curves, etc. All shapes are drawn either outlined or filled in. The size and color of the bricks used can be configured. Legra can be used to create
有名企業の本社は東京（東京都内、23区内）に多いイメージだけど、時々「こんな企業が東京以外に」と思う有名企業・大企業がある。そんな企業は見つけては忘れを繰り返すことが多く、一度に思い浮かぶ企業は限られてしまう。「本社が東京以外 企業」「地方 本社」などでWeb検索しても、ちょっと物足りない情報量だったりすることが多い。「××県に本社がある企業」で検索する手もあるけど46道府県の検索の手間や一目で見渡せないのが不便。 というわけで、東京以外（都市部、郊外、地方）に本社がある企業を見つけたらこまめにメモして、それらをまとめたらけっこうな数になるのではと思い数か月メモを取ってリストにまとめてみた。自分にとって適度なサイズ感のリストを1ページ（1ブログ記事）でざっと見渡せるようにした。 ●東京都以外（都市部、郊外、地方）に本社がある有名企業一覧 （順不同、ざっくりジャンル分け、ほかに見つかったら追
TensorFlowを初期の頃から触っていて define-and-run の流儀にはそれなりに慣れてしまっていたけど、そろそろTensorFlowも2.0がreleaseされそうだし(2019.09時点で 2.0rc1) 新しいinterfaceも触っておかないと、と思って勉強してみた。 Effective TensorFlow 2.0 を読むと、major changesとして "Eager execution"、recommendationsとして"Keras layers and models"が紹介されている。 これからの時代はKeras APIを使ってEager executionでやっていく必要がありそうだ。 お題: 将棋駒画像の分類 昨年くらいから将棋の画像認識をやろうと思って 駒の画像データセットを作成 していた。今回はこれを使う。 各駒14種の先手・後手で28種、空白マ
量子GAN入門 - Qiita
はじめに 去年から量子コンピュータの勉強会に参加するようになったのですが、そこでとりあげられていた量子GANのお話が難しいながらもとても面白かったので、論文を読んでまとめることにしました。 また、量子GAN実装の方法も書いてあったので、MDR社のblueqatとpytorchでコードを書いてみることにしました。 論文のリンク↓↓ https://arxiv.org/pdf/1807.01235.pdf 論文の要旨 GANはDiscriminatorとGeneratorを交互に競合させながら学習を進めることで、本物に近いデータの生成を可能にするネットワークです。本論文ではDiscriminatorはそのままにして、Generatorを量子ゲートでおきかえています。これにより既存のGANや、量子機械学習と比べていくつかの点で有用だそうです。 古典的なGANでは勾配消失問題により、離散的な値を生
A Guide to the Go Garbage Collector - The Go Programming Language
Introduction This guide is intended to aid advanced Go users in better understanding their application costs by providing insights into the Go garbage collector. It also provides guidance on how Go users may use these insights to improve their applications' resource utilization. It does not assume any knowledge of garbage collection, but does assume familiarity with the Go programming language. Th
無料モーションライブラリ『mocap.market 』『mocap.market』は、Perception Neuron を開発する Noitom による無料モーションライブラリです。このモーションライブラリでは、Noitomによって開発された Perception Neuron でキャプチャされた900以上のアニメーションにアクセスすることができます。モーションはすべてPerception Neuron Studioで作成され、Noitom独自のキャプチャ・録画ソフトウェア Axis Studio から直接エクスポートされているとのことです。 すべては確認していませんが、モーションは、FBX、CSV、MBX形式でダウンロードすることができ、CC BY-SA 4.0 ライセンスの下で利用可能です。 mocap.market ウェブサイトへ Noitomについて2011年に設立されたNoit
本コラムは、AIの安全を確保する技術を理解していただくために書かれています。本コラムの内容を検証する場合は、必ずご自身の管理下にあるシステムにて、ご自身の責任の下で実行してください。許可を得ずに第三者のシステムで実行した場合、法律により罰せられる可能性があります。 本コラムの内容を深く理解するには、敵対的サンプルの基本知識を有していることが好ましいです。 敵対的サンプルをご存じでない方は、事前にAIセキュリティ超入門：第2回 AIを騙す攻撃 – 敵対的サンプル –をご覧ください。 ハンズオン 本コラムは、実践を通じてARTを習得することを重視するため、ハンズオン形式で進めていきます。 ハンズオンは、皆様のお手元の環境、または、筆者らが用意したGoogle Colaboratory*2にて実行いただけます。 Google Colaboratoryを利用してハンズオンを行いたい方は、以下のUR
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ベイズ最適化で最高のコークハイを作る - わたぼこり美味しそう
AWS vs GCP reliability is wildly different
非IT企業に転職した機械学習素人がAIプロジェクトにアサインされてからの奮闘記 - Qiita
お手軽で欲しい機能が揃っている実験管理ツールGuild AIの紹介 - kuromt blog
ドリフト問題に対策したゲームパッド「GameSir G7 SE」を購入したら大満足だった話
Building a dialog component | Articles | web.dev
入力線画を全く変えずに画像生成AIに色塗りさせる方法
『効果検証入門』のすごいところベスト５ - Qiita
はじめての自然言語処理 Sentence BERT による類似文章検索の検証 | オブジェクトの広場
極値理論を使って多摩川の氾濫は推測できたのか検証してみる - Qiita
記憶力を劇的にアップさせる4つの方法｜ビジネス・勉強・脳のために知っておきたい - ウミノマトリクス
『ヘタリア』再始動を手放しで喜べない理由 « ハーバー・ビジネス・オンライン
【2022年・下半期ベストアルバム】 - Closed Eye Visuals
コンペで使える！？LightGBMで実装する３つの弱教師あり学習 - ABEJA Tech Blog
ロシアのウクライナ侵略は新たな世界秩序の始まりか？ - 日はまた昇る
2020年9月26日CloudFront障害中のアクセスログを調査してみた | DevelopersIO
PySparkはじめました - 分散処理デビューする前にやったこと - JX通信社エンジニアブログ
JAXによるスケーラブルな機械学習 - ZOZO TECH BLOG
公平性に配慮した機械学習 | メルカリエンジニアリング
アメリカ国防省にいたキューバのスパイ、アナ・モンテス - 歴ログ -世界史専門ブログ-
東京都以外に本社がある有名企業リストを作ってみた - hideboxのブログ
TensorFlow 2.0 時代の Keras API での画像分類器 - すぎゃーんメモ
900以上のアニメーションが利用できる無料モーションライブラリ 『Noitom mocap.market 』
第３回：Adversarial Training -回避攻撃の対策-