WSDM 2019 : How A/B Tests Could Go Wrong : Automatic Diagnosis of Invalid Online Experiments を読んだ - OKIYUKI99 Blog

dl.acm.org LinkedinでInvalidなA/B テスト検知するための方法論を紹介している論文を読みました A/Bテストにおけるメトリック解析の話から、丁寧にメトリックを分解し、検知ロジックを提案しています。LinkedinのA/B テストプラットフォームで実際に動いてるみたいです Introduction まずはじめに、invalidなA/BテストにはInternally または Externally なテストがあることを紹介しています Internally invalid とは？ Treatment と Control間の差がTreatmentによる効果と結論づけれるのが本来のA/B テストの魅力の1つですが、その差がTreatmentによる効果ではない ことを言います 特にこの論文では、incomparable samples（つまり、比較不可なサンプル群）における I