機械学習で入ってはいけないデータが混入する「リーケージ」とその対策

機械学習で入ってはいけないデータが混入する「リーケージ」とその対策：もう失敗しない！製造業向け機械学習Tips（1）（1/2 ページ） 製造業が機械学習で間違いやすいポイントと、その回避の仕方、データ解釈の方法のコツなどについて、広く知見を共有することを目指す本連載。第1回では「リーケージ」について取り上げる。 ⇒連載「もう失敗しない！製造業向け機械学習Tips」バックナンバー 筆者はデータサイエンティストとして、機械学習自動化プラットフォーム「DataRobot」の導入サポートをさまざまな製造業のクライアントに提供してきました。本連載では、その経験に基づいてお話させていただきます。 機械学習が使われる製造業特有の分野は、物性予測、工程管理、予防保全、故障予測、要因分析など多岐にわたります。しかし筆者は、それらの多くで同様のミスが繰り返されていることに気が付きました。これらの間違うポイント

[soy-curd]

よさそう

[kumicit]

株や債券の相場予測でも、未来が混入した学習データはわりとありがち

[kizimuna06]

Datarobotだと、説明変数の効き具合みて、あからさまに効きすぎてたりしてるやつはリーケージってわかる。勝手にフィーチャーエンジニアリングやってそれが悪さすることもあるから注意