「施策を打ったらKPIが上がった！」だけで満足するのは危険 - 渋谷駅前で働くデータサイエンティストのブログソーシャル（特にソシャゲ）界隈の業界では未だによく聞こえてくる話が、 「毎日毎週施策を打つたびにしっかりKPIが上がってるのは見えてるのに、半年後とかの数字見るとなーんか芳しくないんだよね。何でだろう？」 という不思議な愚痴。このブログを初期の頃から読んでいる人なら知っての通り、それを聞くなり「平均への回帰」とか「見せかけの回帰」とかにやられてるよなー、と僕なんかは思うわけですが。最近またそういう話を業界内で見聞きする機会が増えてきたので、改めてまとめてみます。 何でこうなってしまうのか？ ここでは一つありがちなパターンを見てみましょう。例えばDAUか何かのKPIを想像してみます。施策をA, B, Cと3種類ぐらい持っていて、コストや工数を考えながら投入していく感じです。 施策A1、施策A2を打てばそれなりにDAUが上がって、ここで有効期間の長い施策B1を打ってみたら右肩上がりに上がった！
