エンジニアリンググループ AIチーム 新卒2年目の金山 (@tkanayama_)です。 今回は、私が新卒1年目に開発を担当していたメルマガ配信時刻最適化システムの経験をベースにしながら、ABテストで得られたデータを用いて効果検証する際に注意すべき点を架空のストーリー形式でお届けします(ストーリー中に出てくる数字を含め、実際のものとは異なります)。 カンガルーです。 状況説明 エンジニアのKさんは、メルマガの配信時刻を最適化するアルゴリズムを改善するプロジェクトを担当することになりました。これは、メルマガ配信対象者20万人に対し、各ユーザーにとって適切な時間帯に配信することによって、メルマガの開封率を最大化することを目的としたシステムです。また、メルマガを配信できる時刻は、t1, t2, t3の3つです。 既存のシステムは下記のようなアルゴリズムで配信時刻を決めていました。(これを、アルゴ