[B! Modeler] oichのブックマーク

アイテムベースの協調フィルタリングの作り方その1: Minkyのよもやま日記

アイテムベースの協調フィルタリングの作り方その1 SPSS Clementine(PASW Modeler)を使ってアイテムベースの協調フィルタリングを実装した。以前、ユーザベースのも作ったのだが、計算にやたら時間がかかってしまう。それにあんまり当たらなかった。ｗアイテムベースの方が計算時間が早いし、アルゴリズムも簡単だ。アイテムベースでもあんまり精度は期待できないのだが、、、さて、プログラム手順だが、例として、下記のようなデータを考える。ユーザが7人いて、アイテムがa,b,c,d,e,f,gの7アイテムあるとする。 raw data は、下記のようなものをイメージして欲しい。 Step1 セットで購入されるアイテム間の関連性のみを把握したいので、数値データを0-1データに置換する。ユーザ×アイテムのテーブルで書くと、 Step2 Step1で作ったユーザ×アイテムのテーブ

oich 2011/11/24

リンク

アイテムベースの協調フィルタリングの作り方その2: Minkyのよもやま日記

アイテムベースの協調フィルタリングの作り方その2 ★ アイテムベースの協調フィルタリングの作り方その1 ★ http://skellington.blog.so-net.ne.jp/2009-08-20 の続き。前回終了した時点でのデータは、という形になっている。 Step3 のイメージは、というデータを作りたい。 Step3 のストリームは、で作られる。最初のレコード集計ノードは、レコード集計_合計ノードは、レコード結合は、 score（フィールド作成）は、となる。最後、Step4では、データを整形するだけなので、簡単。フィルタノードは、ソートノードは、となる。最後にデータを出力してみるととなる。例えば、商品a を買った人に、何をリコメンドするかってことを考えたら、商品c の score が一番高いので、商品c をリコメンドしよう！ってのに使えるかもし

oich 2011/11/24

リンク

ユーザベースの協調フィルタリングの一般的な原理: Minkyのよもやま日記

以前、 ★ アイテムベースの協調フィルタリングの作り方その1 ★ http://skellington.blog.so-net.ne.jp/2009-08-20 ★ アイテムベースの協調フィルタリングの作り方その2 ★ http://skellington.blog.so-net.ne.jp/2009-08-21 という記事を書いた。今度は、ユーザベースの協調フィルタリングの話。例として、5人のユーザが下記の4つの食べ物について食べたい度合い(得点)を付けたとする。 Step1 ユーザとユーザの距離をコサイン類似度や相関係数などを利用して計算する。このあたりの距離をどう計算するかは、一つの研究課題。ユーザ数が M 人いた場合、M ×(M - 1)個の類似度を計算する。得点(連続値)ではなく、1 or 0 で与えてあげれば、アクションする/しないの判別分析に使うことができる。

oich 2011/11/24

リンク

ユーザベースの協調フィルタリングの拡張: Minkyのよもやま日記

★ ユーザベースの協調フィルタリングの一般的な原理 ★ http://skellington.blog.so-net.ne.jp/2009-08-26 の続き。ここで改良（拡張）したいこととして 1. ユーザ数が多くなると処理時間がかかってしまう。 2. ユーザ × アイテムの関係に、ユーザの属性や時間などを取り込めないか？があった。 1. の問題は置いておいて、2. を先に考える。ユーザ × it em の2変量で類似度を計算しているのを、複数の変数(要因)を絡めて計算する方法ってないだろうか？解決方法 Ⅰ 複数の変量を扱うための拡張として考えられる方法として解決方法 Ⅱ 各属性を要素として類似度を計算する。解決方法 Ⅲ ユーザをクラスタ化し(Step 1)、残りの1変数で類似度を計算する。(Step 2) 解決方法ⅠとⅡは、ユーザ × アイテムの2変量しか扱えない問題を解決