KaggleのMicrosoft Malware Predictionが終了しました。参加した皆さん大変お疲れ様でした。 これまでもつまみ食いはしつつも、今回初めてKaggleコンペに本格的に参加しました。少し期待していたのですが、Publicでソロ銅圏(150位)からPrivateで840位と大幅なShake Downを食らい悲しいし恥ずかしい。 一方で、Kaggleコンペに参加したことで多くの学び・教訓を得ることができました。失敗や経験を次につなげるためにも、本コンペを通じて学んだことを振り返っておきたいと思います。 技術的な学び 今回のコンペの特徴は下記であったと考えます。 大規模なデータ 訓練データとテストデータの分布が異なる (結果的に)テストのPublicデータとPrivateデータの分布が異なる こういった特徴の中で出会った学びについて書いていきます。 メモリ載らない問題 大
![ShakeDownを食らったMicrosoft Malwareコンペを振り返る - For Your ISHIO Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/0ff5b57d1c0ed67e9d1de73d204f97614ca6a70f/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fi%2Fishitonton%2F20190314%2F20190314191403.png)