A/Bテスト標準化へ取り組んだ話 - コネヒト開発者ブログ

みなさんこんにちは！機械学習チームのたかぱいです。 半年ほど前からA/Bテストの標準化に取り組んでいたので、本日はその背景やプロセスについてご紹介しようと思います。 尚、以下メルカリさんの事例を参考にさせていただいています（この場を借りて御礼申し上げます。ありがとうございます！） note.com 標準化に取り組んだ背景 コネヒトでは日常的にさまざまなチームでA/Bテストが行われていました。 しかし、以下のような課題があると感じていました。 A/Bテストに関する知識にバラつきがある チームごとにA/Bテストのドキュメントの書体が異なるので、読み解くのにコストがかかる 「どのような実験」が「どのくらいの期間行われていたか（いるか）」という情報が一目で把握できない etc... 上記のような課題は時間が経てば経つほど負債が大きくなると判断し、一度テコ入れした方が良いと思い、標準化に取り組みまし