blog.katsuma.tv
前回、JavaScriptでMap Reduceのコードが書けるHadoop Streamingについて紹介しました。 標準入出力さえサポートされてあれば、任意のコードでMap Reduuceの処理が書ける、というものでしたが、エンジニアはそもそも面倒くさがり。コードも書くのも面倒です。 と、いうわけで、今回はもうコードすら書かずにSQLライクでMap ReduceできるHiveというプロダクトについて、まとめたいと思います。 Hive Hiveとは、簡単に言うとHadoop上で動作するRDBのようなものです。 HDFSなどの分散ファイルシステム上に存在するデータに対して、HiveQLというSQLライクな言語で操作できます。 で、面白いのがHiveQLの操作は基本的にMap Reduceのラッパーになっていること。 要するに、SELECT文実行すると裏でMap&Reduceのタスクが走り出
MapReduce & Statistical Query Modelling
MapReduce for Machine Learning on Multicore 2007-05-17 機械学習勉強会 大倉 務 自己紹介 • 大倉 務（おおくら つとむ） • 中川研の修士２年（情報理工 - 創造情報学専攻） • ブログを集めて著者属性を推定し、「今年のGW、 静岡県民にはバーベキューが人気」といった流行を抽 出する方法の研究をしています。 • 機械学習に造詣が深いということはありません （すいません） 本日のお題 MapReduceモデルで 機械学習アルゴリズムを並列化する 余談：私とMapReduce • 2006年初頭 MapReduceを知る オープンソースの類似ライブラリを使ってみるが出来が悪すぎて使えず • 2006年春頃 Rubyで実装する WikiPedia(JA)を10秒で処理できるようにして、統計値をとってみた
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
