巨大地震が日本を襲い、皆不安を感じながら生活していると思います。 そんな中せめて自分に出来ることをしようと思い、研究してきた内容をブログに記します。 サンプル数が大規模なデータでニューラルネットワークとかサポートベクターマシンとかをしたくても、 時間がかかってしょうがない!ってときに参考にしてみて下さい。 近年、特にweb関係の業界ではデータデータをいくらでも記録できるようになったため、データの規模が非常に大きくなっています。 大規模データに機械学習、マシーンラーニングを適用したいという要望は高まっています。 そういうときはデータからサンプリングして性能を確かめることが多いと思います。 ですがそんな時は、 「サンプル数はどれくらいがいいの?」 「一回やっただけじゃ真の性能は分からないよね?」 「しかもクロスバリデーションしなきゃいけないし。。」 などのような事を疑問に思うでしょう。 今回紹
![大規模データマイニングでのモデル探索手法:K-sample plot - データサイエンティスト上がりのDX参謀・起業家](https://cdn-ak-scissors.b.st-hatena.com/image/square/08d30820f6e09d5080eec5c1921060eb1949c0ee/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fi%2Fisseing333%2F20110313%2F20110313120423.jpg)