A/Bテストより10~100倍効率的なランキング評価手法 インターリービング（Interleaving）のまとめと実践 - Qiita

はじめに 2つのシステムの性能やデザインを比較したいときには、A/Bテストを行うことがあります。UIの変更など、比較すべきシステムが多くないような場合で、かつ、たくさんのページビューがあるようなサービスを運用している場合にはA/Bテストでも良いかも知れません。しかし、比較すべきシステムが複数ある場合や、あまりページビューがない場合、A/Bテストで有意な結果を得るためには長い時間がかかってしまうことが知られています。 そこで注目を集めているのが、近年提案されたインターリービング（Interleaving（日：交互配置））という手法です。検索や推薦システム等のランキングを行うシステムにのみ適用が可能ですが、実験的にA/Bテストよりも10~100倍効率的であるということが知られています。この記事では最近の論文によって報告されているインターリービングの性能について、また、各種インターリービング手法

[sonots]

interesting

[hirorock]

インターリービング A/Bテスト

[ryownet]

サンプルが少なくてもランキングアルゴリズムとかの評価はインターリービングのほうが効率的らしい(UIのABには使えないように見える)

[tmatsuu]

性能効率についてはよくわからんが手法は興味深い。