第4回 レコメンドシステム－協調フィルタリングのHadoopへの実装［中編］ | gihyo.jp
皆様、遅くなりましたが明けましておめでとうございます。本年も宜しくお願い申し上げます。 今回は前回に引き続き、ユーザシーケンスからコサイン関数の計算に必要な値（図1のa1:b1、a1、およびb1）を取り出す方法を紹介します。 おさらい Hadoopはデータをクラスタ内のローカルディスクに分散し、そのデータがあるノード上で処理を実行するというデータローカリティを実現しているため、コサイン関数をMapReduceのフレームワークに変換して処理することを紹介しました。 その設計方法として、処理結果の形式から逆に考える方法を紹介しました。 図1 計算結果から考えた処理フロー ユーザシーケンスからアクセスユーザ数のカウントまで 第二段階の処理フローは次の通りです。ここでもアイテムIDを具体的なアイテム名で示しています。 図2 第二段階の処理フロー ①では、各ユーザシーケンスからシーケンス内に含まれる
第3回 レコメンドシステム－協調フィルタリングのHadoopへの実装［前編］ | gihyo.jp
今回はいよいよHadoopを用いたレコメンドシステムについて説明します。 今回のポイントは以下の通りです。 処理をMapReduceフレームワークへ変換することで、分散処理のメリットを享受 アウトプットからkeyについて着目し、処理ロジックを考える 簡単な処理でも数段階のMapReduce処理を踏む場合がある 前回までのおさらい 分散処理の基本的な考え方は、大規模データあるいは処理する問題を小さく、かつ、互いに独立した単位に分割して並列に処理することで、各処理単位の出力を結合することで最終的な結果を得るというものです。Hadoopは数ある分散処理のフレームワークの実装のひとつで、システムレベルの詳細の多くを意識せず、処理ロジックに集中して設計できる特徴があります。 Hadoopで処理するため、前回紹介したユーザの映画評価の履歴をHDFSのディレクトリにコピーすると、HDFSは履歴を各ノード
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
