タグ

関連タグで絞り込む (0)

  • 関連タグはありません

タグの絞り込みを解除

Hadoopとレコメンドシステムに関するkazu_levis501のブックマーク (2)

  • 第4回 レコメンドシステム-協調フィルタリングのHadoopへの実装[中編] | gihyo.jp

    皆様、遅くなりましたが明けましておめでとうございます。年も宜しくお願い申し上げます。 今回は前回に引き続き、ユーザシーケンスからコサイン関数の計算に必要な値(図1のa1:b1、a1、およびb1)を取り出す方法を紹介します。 おさらい Hadoopはデータをクラスタ内のローカルディスクに分散し、そのデータがあるノード上で処理を実行するというデータローカリティを実現しているため、コサイン関数をMapReduceのフレームワークに変換して処理することを紹介しました。 その設計方法として、処理結果の形式から逆に考える方法を紹介しました。 図1 計算結果から考えた処理フロー ユーザシーケンスからアクセスユーザ数のカウントまで 第二段階の処理フローは次の通りです。ここでもアイテムIDを具体的なアイテム名で示しています。 図2 第二段階の処理フロー ①では、各ユーザシーケンスからシーケンス内に含まれる

    第4回 レコメンドシステム-協調フィルタリングのHadoopへの実装[中編] | gihyo.jp
  • 第3回 レコメンドシステム-協調フィルタリングのHadoopへの実装[前編] | gihyo.jp

    今回はいよいよHadoopを用いたレコメンドシステムについて説明します。 今回のポイントは以下の通りです。 処理をMapReduceフレームワークへ変換することで、分散処理のメリットを享受 アウトプットからkeyについて着目し、処理ロジックを考える 簡単な処理でも数段階のMapReduce処理を踏む場合がある 前回までのおさらい 分散処理の基的な考え方は、大規模データあるいは処理する問題を小さく、かつ、互いに独立した単位に分割して並列に処理することで、各処理単位の出力を結合することで最終的な結果を得るというものです。Hadoopは数ある分散処理のフレームワークの実装のひとつで、システムレベルの詳細の多くを意識せず、処理ロジックに集中して設計できる特徴があります。 Hadoopで処理するため、前回紹介したユーザの映画評価の履歴をHDFSのディレクトリにコピーすると、HDFSは履歴を各ノード

    第3回 レコメンドシステム-協調フィルタリングのHadoopへの実装[前編] | gihyo.jp
  • 1