ちょっと前に巷で話題になっていた A/B テストに関する MS の論文 A Dirty Dozen: Twelve Common Metric Interpretation Pitfalls in Online Controlled Experiments をご多分に漏れず読んでいるので、自分なりに気になったところを掻い摘んでメモを残していきます。 今回は chap.4 Metric taxonomy のメモです。 (Photo by Vitaly V. Kuzmin / Wikipedia) A/B テストにおける指標値 (メトリクス) の分類 この論文では、A/B テストの結果を定量的に見るためのメトリクスをその目的ごとに以下の 5 つに分けて扱っています。 Data quality metrics Overall evaluation criteria (OEC) metrics G