HadoopはRDBMSをスケールアウト可能にする

はじめに Hadoopでデータを解析する場合、SQL-likeなインターフェースを持つHiveやPigがよく使われます。しかし、どうしても速度を追求したい場合や処理の性質にSQLが合わない場合などには、最も低レベルな処理となるMap/Reduceのコードを直接Javaで書くことになります。 今回は、Javaの組み込み型RDBMSであるH2を例に、JavaでMap/Reduceレイヤーの処理を直接書きながら、同時に集約処理についてはSQLを使うというテクニックを紹介します。このテクニックを用いることで、Hadoop上できれいにRDBMSの性能をスケールアウトさせることが可能となり、アプリケーションの開発効率、性能ともに大幅に上昇させることが可能となります。 スライドはppt形式でこちらからダウンロード可能です。 Hadoop一般論 Hadoopのメリットと、SQL-Likeなインターフェース

[cakephper]

これはすごい！