メルカリにおけるA/Bテスト標準化への取り組み｜Mercari Analytics Blog

こんにちは、Analytics Infra チームの @yaginuuun です。主にA/Bテスト周りの改善や Recommendation 関連の分析を担当しています。 当ブログは 2021/07/28 に開催された Retty ✕ Mercari Analyst Talk Night! におけるLT内容を改めて少し補足を加えながらブログの形に書き起こしたものです。 当日の資料はこちらです。 A/Bテストとは A/Bテストは Randomized Controlled Trial (RCT) とも呼ばれる効果検証手法です。最も単純な例をあげると、二つの群を用意し片方の群にのみ何かの変更を加えることでその変更による数値変動を評価します。 A/Bテスト自体は医学や農業の分野など幅広く行われています。特に医学の領域においては Level of Evidence という考え方があるようですが、A

[mizdra]

丁寧にやっていてすごい。A/Bテストの設計に慣れている人/慣れていない人のそれぞれの検証の質への貢献が大きく異なるのもへえという感じで面白い。

[d4-1977]

ドキュメントで一定のルールや見通しを構造化して登録しておくの良さそう。判断する基準や、仮説についても言葉にしておくか？していないか？では異なりそう