Hadoop 1.0.0がリリースされましたが、1.0.0にはWebHDFSの機能が最初から入っています。 WebHDFSとはHTTP REST APIでHDFSにアクセスできる機能ですが、httpfs(Hoop)との違いは以下のブログが分かりやすいです。 Hoop(httpfs)とwebhdfsの違い – tagomorisのメモ置き場 Hoopはスケーラビリティに疑問が残りますが、WebHDFSはDatanodeから直接データを取得するのでスケーラビリティの問題はありません。さっそく使ってみました。 使い方 設定はconf/hdfs-site.xmlに以下を書くだけ。デフォルトはオフなので、書く必要がある。 <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> 詳細は公式ドキュメント