A/Bテスト実践ガイドの実践
A/Bテスト実践ガイドの実践 2022/01/14 大杉直也 PyData Tokyo A/Bテスト pyData 持って帰ってほしいこと A/Bテスト実践ガイドは素晴らしい 今回、本の解説はしない そもそも〜の解釈分かれる歴史や思想の話と現場での実践の両極端を話す 抽象と具体の隙間を埋める話は、参考図書の推薦 # 今日の話の位置付け。そもそも〜の話 ４つの情報革命 計測と介入の革命 Web service IoT Industrial4.0 DX 機械学習の革命 ensemble学習 深層学習 シミュレーションベースの強化学習 動画や自然言語などの非構造データとマルチモーダル学習 ビッ...
A/Bテストより10~100倍効率的なランキング評価手法 インターリービング（Interleaving）のまとめと実践 - Qiita
はじめに 2つのシステムの性能やデザインを比較したいときには、A/Bテストを行うことがあります。UIの変更など、比較すべきシステムが多くないような場合で、かつ、たくさんのページビューがあるようなサービスを運用している場合にはA/Bテストでも良いかも知れません。しかし、比較すべきシステムが複数ある場合や、あまりページビューがない場合、A/Bテストで有意な結果を得るためには長い時間がかかってしまうことが知られています。 そこで注目を集めているのが、近年提案されたインターリービング（Interleaving（日：交互配置））という手法です。検索や推薦システム等のランキングを行うシステムにのみ適用が可能ですが、実験的にA/Bテストよりも10~100倍効率的であるということが知られています。この記事では最近の論文によって報告されているインターリービングの性能について、また、各種インターリービング手法
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[Online] PyData.Tokyo Meetup #25 ABテストの実践 - 資料一覧 - connpass![[Online] PyData.Tokyo Meetup #25 ABテストの実践 - 資料一覧 - connpass](https://cdn-ak-scissors.b.st-hatena.com/image/square/acd4f25f8181ec5c8c4495061d92820cb25ae4b2/height=288;version=1;width=512/https%3A%2F%2Flh6.googleusercontent.com%2FN0-G6HU0b5gcKJrIbPX8_jzO0o05a50V4ZJiU9lt4O4Wc83pDrBsfZmzyq1bdYfAie7iDT2mHynsrA%3Dw1200-h630-p)
DMMの検索に機械学習を導入して、A/B テストで圧勝した考え方 - DMM inside
