【Vol.18】宵勇樹氏「ビッグデータ活用に欠かせないスケールアウト」 – JDMCメンバーの皆さんそれぞれの経験・知見・想いをリレー形式でつなげていきます。 今回、バトンを受け取ったのは、Pivotalジャパンの宵勇樹さんです。 初めまして、Pivotalジャパンの宵と申します。当社はベンダー会員としてJDMCに参加しております。このたび、事務局よりお声がかかり、リレーコラムを書かせていただくことになりました。若輩ですがよろしくお願いいたします。 ビッグデータに関しては、これまでにもリレーコラムで何回か語られてきました。今回、私はビッグデータとスケールアウトについて述べたいと思います。 スケールアウトとは、1台で対応しきれない処理に対し、複数のマシンに分けて並列で処理することを指します。例えば、1億件のログの処理ならば短時間で返ってきますが、それ以上だとメモリやCPUが足を引っ張り処理時間が極端に長くなってしまうマシン・アルゴリズムがあるとします。1000億件のレコード
