「正答率100%」になってしまう機械学習モデルの例を挙げてみる - 渋谷駅前で働くデータサイエンティストのブログ

何か僕がシンガポールに出張している間に妙なニュースが流れていたようで。 京大ビッグデータ副作用論文。機械学習知らない私でも疑問なのは、@sz_drさんも指摘してるが y'=a1*SCORE+a2*ACT+a3*GeneID+b (1) という式で、GeneIDという定量的に性質を示す値でないものを線形結合に加えているところだと思う。詳しい人教えて— torusengoku (@torusengoku) 2016年1月25日 （※記事そのものへのリンクは控えました） 見る人が見れば「ああこれはleakageだな」と一瞥して終わるところなんですが、そもそもleakageってどういうことなのかピンと来ない人もいるかと思いますので、以前取り上げたデータ分析題材を例にとって実演してみようと思います。お題はこちら。 何故これを選んだかというと、このテニス四大大会データには上記で話題になっていた"Gen

[stealthinu]

leakageとは『テストデータの中にあるべき変数が学習（訓練）データに洩れて(leak)しまっていること』

[mimirock315]

“ランク落ち”

[kyopeco]

*kaggle

[dynamicsoar]

data leakageについて

[yukirelax]

“本来は「テストデータの中にあるべき変数が学習（訓練）データに洩れて(leak)しまっていること」という意味です。今事例は「本来IDなしで学習＆予測して後からIDをぶつけて照合すべき」ケースで先にIDを使っている”

[otiai10]

“つまり、今回のテニス四大大会のデータで言えば「同一カードでの対戦が5回とか10回とか当該期間内にある場合」なら説明変数に含めても良いわけです。けれども、個々のIDがほぼ1回ずつしか出てこないような場合には使

[aonotas]

leakageっていう現象があるのか、納得。知らなかった。 「正答率100%」になってしまう機械学習モデルの例

[yasudayasu]

このテニス四大大会データセットにおいては目的変数と「対戦カードのプレイヤー双方の名前」がほぼ一対一対応する。「本来IDなしで学習＆予測して後からIDをぶつけて照合すべき」ケースで先にIDを使ってしまっている。

[moccos_info]

"ID的な変数がきちんと説明変数として機能するケースは幾らでも世の中ありますが、それは「個々のIDごとに十分な数の繰り返し測定を含む場合" "「本来IDなしで学習＆予測して後からIDをぶつけて照合すべき」"

[zorio]

へー。

[mrkn]

基本

[azumaon]

「正答率100%」になってしまう機械学習モデルの例を挙げてみる - 東京で働くデ... お仕事のために…φ(..)メモメモ

[houyhnhm]

酷いな。

[Ez-style]

ぶっちゃけ個人ダミーみたいな？

[ryozo18]

メモ

[tomo31415926563]

この前同じデータが重複して入っているのを見逃してleakageおこした。CVやったからといって油断は禁物だ。

[nextmedia]

“CVなしで訓練誤差だけ低いの見せ”

[takehiko-i-hayashi]

良記事。CV大事。

[opps_long]

試験対策するようなもんか

[tkysktmt]

CV大事

[kitaazabu48]

φ(..)メモメモ \ 「正答率100%」になってしまう機械学習モデルの例を挙げてみる - 東京で働くデ...