小規模ECサイトのレコメンド[理論編] - haseの日記
現在のようにHadoopが使えるようになった今、大規模サイトではバッチで分散処理をすべきです。 しかし、小規模サイトの場合、そもそも計算するべきログが少ないため、わざわざ分散処理をするまでもありません。 ある程度リアルタイムに処理することを考えます。 そこで今回はまず簡単なレコメンドの考え方を説明します。 レコメンドのアルゴリズムは基本的には協調フィルタリングを用います。 しかし、小規模サイトの場合、ログが少ないため、それだけではコールドスタート問題が起きてしまいます。だから、ログが十分に得れない場合はコンテンツベースでレコメンドすべきです。 協調フィルタリングを使うと、「思わぬ気づき（セレンディピティ）」を与えることができますが、コンテンツベースでは「当然の結果」を返すことができます。このことを考えると、できるだけ協調フィルタリングを用いたほうが、おもしろいレコメンドをユーザーにすること
![小規模ECサイトのレコメンド[理論編] - haseの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/2b4ce23b4f00201fb95ed4c61a4c8988c8118339/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fh%2Fhase1031%2F20111120%2F20111120123110.png)
第3回 レコメンドシステム－協調フィルタリングのHadoopへの実装［前編］ | gihyo.jp
今回はいよいよHadoopを用いたレコメンドシステムについて説明します。 今回のポイントは以下の通りです。 処理をMapReduceフレームワークへ変換することで、分散処理のメリットを享受 アウトプットからkeyについて着目し、処理ロジックを考える 簡単な処理でも数段階のMapReduce処理を踏む場合がある 前回までのおさらい 分散処理の基本的な考え方は、大規模データあるいは処理する問題を小さく、かつ、互いに独立した単位に分割して並列に処理することで、各処理単位の出力を結合することで最終的な結果を得るというものです。Hadoopは数ある分散処理のフレームワークの実装のひとつで、システムレベルの詳細の多くを意識せず、処理ロジックに集中して設計できる特徴があります。 Hadoopで処理するため、前回紹介したユーザの映画評価の履歴をHDFSのディレクトリにコピーすると、HDFSは履歴を各ノード
MapReduce風の手順でレコメンドエンジンを作る - ぱろっと・すたじお
先日、ちょっと気分転換がしたかったので、 前々から試そうとしていた、レコメンドエンジンの実装に挑戦してみました 一応仕事の時間なので、会社的に意味があるものを・・・ということで、 蓄積されたままたいして活用されていなかった、 アクセスログを解析して何か・・・と思ったのです ただ、そのまま作っても意味がないので、 後々MapReduceに適用できるように、 意図的に処理をMapReduce風に書いてみました 結果的に予想以上の代物ができあがってしまい、 私自身びっくりしたわけですが、今回はその手順をメモ...φ(･ω･｀) なお、細かい理屈はこの辺でnaoya氏が解説してますので、 ぜひ確認してみてください WEB+DB PRESS Vol.57 作者: 今村謙之,遠藤正仁,浜本階生,uupaa,増井俊之,大沢和宏,伊藤直也,村瀬大輔,塙与志夫,中島拓,中島聡,角田直行,cho45,はまちや
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
