改善施策の効果検証はどうやるべきか？ - 渋谷駅前で働くデータサイエンティストのブログ最近「効果検証」というキーワードを見聞きする機会が増えてきたので、僕のこれまでの経験に基づいてちろっと書いてみます。 シンプルにA/Bテストをやる場合 色々なところで既に言われていますが、独立性の検定*1一択でしょう。そもそも独立性の検定って、古典的な統計学の世界では 予防接種が効いたor効かなかった 工場のある工程への改善が効果があったorなかった といったテストに使われる手法なんですよね。これはどこからどう見てもその当時のA/Bテストそのものです。単にwebで全自動でできるかできないかぐらいの違いしかないです。 ということで、例えばこういう例を考えてみましょう*2。 CVしなかった CVした CVR 施策打つ前 2892 447 13.3% 施策打った後 2422 439 15.3% 物凄くボリューム感が小さいんですが（笑）、そこは置いといて。さて、これは効果があったと言えるんでしょう
