Hadoop技術解説 注目の背景にはクラウドの普及

オープンソースの「Hadoop」は、多数のサーバを使った“ビッグデータ”アプリケーションの分散データ処理を可能にする。この技術は、クラウドでの分散並列処理によって冗長性と強力なアプリケーションパフォーマンスを実現し、障害を防止するという考え方に基づいている。 HadoopはApache Software Foundationのオープンソースプロジェクトの1つであり、米Google、米Yahoo!、米AOL、米Facebookといった企業のニーズから生まれた。こうした企業は、分散されたサーバ上の膨大なデータセットへのアクセスを日々サポートする必要がある。 しかし、2つの要因から、Hadoopは多くの企業で必要かつ利用可能なものになっている。その1つは、非常に大規模なデータセットを使用するアプリケーションが増えていること。もう1つは、搭載プロセッサ数が合計数百あるいは数千個に上る分散サーバをほ