dl.acm.org LinkedinでInvalidなA/B テスト検知するための方法論を紹介している論文を読みました A/Bテストにおけるメトリック解析の話から、丁寧にメトリックを分解し、検知ロジックを提案しています。LinkedinのA/B テストプラットフォームで実際に動いてるみたいです Introduction まずはじめに、invalidなA/BテストにはInternally または Externally なテストがあることを紹介しています Internally invalid とは? Treatment と Control間の差がTreatmentによる効果と結論づけれるのが本来のA/B テストの魅力の1つですが、その差がTreatmentによる効果ではない ことを言います 特にこの論文では、incomparable samples(つまり、比較不可なサンプル群)における I
![WSDM 2019 : How A/B Tests Could Go Wrong : Automatic Diagnosis of Invalid Online Experiments を読んだ - OKIYUKI99 Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/616fe7cb3a5a0448e9fb50bd2e816c19e957d632/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fg%2Fgingi99%2F20190317%2F20190317215938.png)