A/Bテストに本格的に関わって見えてきたこと - asken テックブログ

はじめに この記事は、株式会社asken (あすけん) Advent Calendar 2025の12/22の記事です。 こんにちは。2025年5月にデータサイエンティストとしてaskenに入社した平です。前職では通信会社で新卒から約8年間、データサイエンス関連の業務を幅広く経験しました。最近はあまり参加できていませんが、業務外ではKaggleやatmaCupにも挑戦しています。 現職のaskenに入社後の半年間は主にAIツールの活用やデータ基盤の整備に取り組んできました 1。一方で、A/Bテストといった効果検証の領域に関心はあったものの、既存の運用で問題ないように見えたため積極的に関わっていませんでした。 そんな中、あるA/Bテストの結果に違和感を覚えたことをきっかけに、設計や運用の見直しに着手することになりました。本記事では、試行錯誤から得た学びをもとに、A/Bテストの勘所を整理します