Mahoutで分散レコメンド(2) - 都元ダイスケ IT-PRESS
んじゃ、早速Hadoopの疑似分散環境を作ってMahoutを回してみましょう。 HadoopのセットアップとMahoutの入手 まずは利用するHadoopのセットアップ。ここは本題じゃないので要点のみ。 Hadoopのバージョンは最新ではなく v0.20.2 を使いましょう。 Apache Download Mirrorsから hadoop-0.20.2.tar.gz をダウンロードします。 各種設定は基本的にHadoop擬似分散環境メモ(Hishidama's Hadoop pseudo-distributed Memo)参照 設定後、起動する前に、hadoop namenode -format を忘れずに。最初、これ忘れてハマりました。 start-all.sh でHadoop起動。hadoop fs -ls でHDFSに接続できる事を確認。 ちなみに、Hadoopを落とす時は sto
Mahoutで分散レコメンド(1) - 都元ダイスケ IT-PRESS
さて、ちょっと間があきましたが。 前回まで、いったんレコメンドを抜けてクラスタリングの世界をご紹介してみた訳ですが。あまりウケがよさそうじゃないのでレコメンドに戻ってみます。 そんな中でMahoutが一押しであるのは、スケーラビリティの確保に重点が置かれていることです。 機械学習というのは、当然、計算に基づいて結果を出すわけですが、その基礎となるデータが多ければ多いほど、確からしい結果を出してくれます。が、しかし、データが多ければ多いほど、指数的に計算量が増加する傾向があります。 Apache Mahoutで機械学習してみるべ - 都元ダイスケ IT-PRESS という導入から紹介に入ったレコメンドですが、実はあのアルゴリズムは分散処理できません。できませんったらできません。だってMapReduceパラダイムで書いてないんだもん。 ということで、先日紹介した処理をそのままMapReduce
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
