実務の現場においてモデリング（統計学的・機械学習的問わず）を行う上での注意点を挙げてみる - 六本木で働くデータサイエンティストのブログ

気が付いたら僕がデータ分析業界に身を置くようになってそろそろ5年近くになるんですね*1。この5年間の間に色々勉強したり業界内で見聞してきた経験をもとに、「実務の現場においてモデリングを行う上での注意点」についてだらだらと書いてみようと思います。 と言うのも、色々な現場で様々なモデリング（統計学的にせよ機械学習的にせよ）が行われていることが伝わってくるようになった一方で、ともすれば「え？こんな基礎的なポイントも守ってないの？」みたいなとんでもないモデリングがまかり通る現場があると愚痴る声を業界内で聞くことが少なくないので。自戒の意も込めて重要なポイントを備忘録としてブログ記事にまとめておくのも有益かなと思った次第です。 この記事では手法選択（線形・一般化線形・ベイズ＋MCMC・識別関数・識別モデル・生成モデル・樹木モデル・Deep Learning etc.）の話題は割愛しました。一般に、モ

[yasudayasu]

得られたモデルが「真のシグナルにきちんとフィットしている」か「ノイズにまで過剰にフィットしている」か。「ヒトの意思決定のため」なのか、それとも「システム出力のため」なのか。

[gayou]

にわかでなんちゃってでやっていると、常に過学習な運用が続きそう=学習したものは永遠に使い物にならないモデル、ってことになりそうだ。

[georgew]

良記事。過学習回避/汎化性能追求と因果推論は本当に難しいし慎重さが必要。頭ではわかってはいるけど過学習はやっちまいがちだしなぁ。

[hiddy216]

そうなんだよなあ、実務としてしっかり成果が上がるかはこういう地道なところを着実にできるかどうかな訳で、ビジネス理解がないままに手法優先でやるとハマりやすい。それでも因果論は結構深遠なんだよなあ。

[kotesaki]

この手の実務的ノウハウが重要なんだよなぁ。

[ryuji108it]

数値<データそのものとの一致 あとは難しい。知りたい。

[mak_in]

うむ、流し読み程度では分からん

[userhiro]

＞＞自己相関（系列相関）が強い単位根過程同士で線形回帰を行ったがために生じる「見せかけの回帰」という現象。　：ここ良く分かっていない。後で調べる必要あり。

[somemo]

コメ(´・ω・｀) “とりあえず手に入る特徴量になりそうなデータセットをありったけ突っ込む（そうしないと特徴次元が低過ぎる）みたいなケース”

[kana0355]

“モデリングを行うからには汎化性能を確保することが第一義です。（中略）とにかく「より汎化性能の高いモデル」を採用することを最優先にするべき”

[zaskar99]

[machine-learning] [Statistics]

[umai_bow]

やっぱりこの手の分野はパラメータをこねくり回して遊んでるようにしか見えない・・・

[footnote]

経済学の実証研究では常識で、これらの問題点をうまく扱うことが研究のすべてなのだが、正しく理解することはそう簡単ではない。

[iku-sawa11]

有意かどうかだけで判断したらいかん良い例

[tamuchi246]

と

[Repeterreservearmy]

めちゃくちゃわかりやすかったです！データサイエンティストに興味があるので参考にさせていただきます！

[yuko-hirom]

なんだか教育的な内容だな。上司に送りつけておこう。