新しいビッグデータ分析基盤「Apache Spark」登場の背景と、押さえておきたい活用ポイント

ビッグデータ分析を行うための新しい基盤としてApache Sparkが注目を集めている。Hadoopがデータ分析基盤のデファクトスタンダードとして定着した今、なぜSparkが登場したのだろうか。その経緯やHadoopとの違い、IBMのSparkへの取り組み、そしてプラットフォーム選択における最適解について、日本アイ・ビー・エム 田中裕一氏、中島康裕氏に伺った。 日本アイ・ビー・エム IBMシステムズ・ハードウェア事業本部 ITスペシャリスト 中島康裕氏（左）、 同 アナリティクス事業本部 田中裕一氏（右） Hadoopの登場により本格的なビッグデータ時代が到来 ビッグデータ分析や機械学習など、大規模データ処理のベースとなるのが分散コンピューティング技術である。しかし、以前の分散コンピューティングアーキテクチャは多くの課題を抱えていた。一つはプログラムが高度化・複雑化してしまうという問題だ。