A/BテストでCUPEDを使って分散を小さくする - Qiita

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに A/BテストやRCTと呼ばれるランダム化実験はウェブアプリをはじめさまざまなサービスで利用されている。 ここでは「より少ないデータで、より正確に効果を測るための手法」であるCUPEDについて紹介する。 CUPEDは"Covariate Using Pre-Experiment Data"の略で、簡単に言えば「実験前のデータを使ってA/Bテストの精度を上げる方法」だ。 A/Bテストのおさらい A/Bテストは、ウェブやアプリの改善に欠かせない手法だ。 具体的には、ユーザーをランダムに2つのグループに分け、片方には従来のバージョン（