はじめに こんにちは！ソウゾウのSoftware Enginner（Machine Learning）の@nkato_です。「メルカリShops [フライング] アドベントカレンダー2022」の4日目を担当します。 この記事では、ソウゾウの機械学習チームで取り組んだこととして、施策の評価にベイジアンA/Bテストという手法を取り入れた話をします。 ベイジアンA/Bテストを用いるとテスト結果が解釈しやすく、そのため最終的な意思決定に繋げやすいというメリットがあります。A/Bテストに取り組む中で「有意差がなかったから既存ロジックを採用してしまう」「信頼区間の解釈に迷う」といった経験がある方にはぜひお読みいただきたい内容です。 また、この記事は統計学に関する用語を含んでいるため、統計学についての基本的な知識を有する方を対象としています。 A/Bテストとは A/Bテストとは、ユーザーをランダムに2つ