「闇雲にPDCAサイクルを高速に回す」と場合によっては過学習して逆に怖いかもというお話 - 渋谷駅前で働くデータサイエンティストのブログ

3年前にこんな話を書いたわけですが、皆さんご記憶でしょうか。 この当時は「平均への回帰」という言葉にその不毛さを託したわけですが、前回の記事に着想を得てもう少し今時っぽく論じることが出来るんじゃないかと思ったので、ちょっと書いてみようかと思います。 なお、言うまでもありませんが以下に示す例は完全に単なるシミュレーションであり、特定の事例を意味するものではありません*1。過去にデータ分析業界の内部で見聞された数々の事例の最大公約数的な部分をベンチマークとしてまとめたものとご理解下されば幸いです。またシミュレーション自体も特に数理的な厳密さを期したものではありませんので、そこもご了承あれ*2。 ビジネスの現場でよくある光景 一般に「PDCAサイクルをとにかく速く回す」のがビジネスを成功させる近道だと言われるわけです。そこで、こんなケースを考えてみます。設定としては、何かしらのeCommerce

[ledsun]

「適切でなかった施策指標」はどこから現れるのだろう？

[chintaro3]

あるある

[peketamin]

わかる…評価が短期で雑なPDCAドヤ顔あるある

[shaphere939]

“マーケティング系のデータの中でも最終的な売上高・利益などのKGIは概して長期的な上下動を伴います。なので、これに先行する指標があるとすれば、それもまた長期的・太極的な上下動を見せると考えた方が無難です”

[shimooka]

『短期的なデータ変動に基づいての意思決定・変更を頻繁に繰り返すと、これらのノイズに振り回されることになりやすい』

[henyoro]

中期目標の施策の打ち方が雑で本質を見失うパターン

[rmakiyama]

“長期的な上下動を反映するようなモデルに基づいて意思決定する方が、最終的には売上高・利益などのKGIの向上を図る上では有用”

[rryu]

短期で見つかった指標を元に短期で施策を打つのはまあ場当たり的な対応と同じだしなあ。

[takuya_1st]

色目を使って男を釣り上げて、身持ちを崩していく過程に似ている。

[kabacsharp]

標準偏差1.96 95%ライン　を、か、だったかなぁ？

[hiddy216]

沁みるなあ・・・

[Erlkonig]

「ザラキを使ったターンに敵が死んだ」を学習してザラキ効かない敵にもザラキ唱えまくるクリフト？

[bookkeeper2012]

データの動きの背後にあるロジックについて仮説を持つべしと解釈

[mather314]

ノイズを含む情報に過剰な反応をしてはならない

[sawasawa12]

一社にひとりデータサイエンティストだよなぁ。数字の評価って難しすぎる。

[W53SA]

http://zekipedia.hatenablog.com/entry/2015/08/02/133508 極限までコスパを追い求めた結果、仮想PDCAサイクルを回し始める連中もいるからなぁ

[filinion]

「前回より何ポイントアップ！」みたいなのはノイズに過ぎない可能性も高いので、直近の数字に振り回されず、長期的なトレンドをつかまなければいけない、という話。

[ngsw]

IQテストにある「さて空欄にあてはまる数字は？」みたいな問題思い出した。

[Yagokoro]

株とかでも超あるあるネタ。短期の上下はノイズがほとんどなので、長期トレンドを見るのが大事。

[raf00]

超ある。

[masakiplus]

ビジネスの現場でよくある光景 一般に「PDCAサイクルをとにかく速く回す」のがビジネスを成功させる近道だと言われるわけです。そこで、こんなケースを考えてみます。設定としては、何かしらのeCommerceサービスの

[y-tada]

メモ

[tekimen]

投資やマーケティングとかでめっちゃ大事ですなー。これ。

[webcenter]

ノイズに過学習して施策を決めていたら何の効果もありません

[karupanerura]

それな

[muddydixon]

あるあるすぎる。

[sonots]

なるほど

[kyon_mm]

社内でも意味のない数字とか特徴にこだわろうとするエンジニアがいるので、そういうのを見るたびに戒めている。いまはどうやったら身につくのか勉強中です。

[DankanTakeshi]

高速でPDCAサイクルを回すのを目的にしちゃいけないけど、そうなりがちかも。もっと落ち着いて"長期トレンドをしっかり見極める"必要がある。