協調フィルタリングのグラフィカルモデル - nokunoの日記
協調フィルタリングとはAmazonのお勧めのように「この商品を購入した人はこんな商品も購入しています」という情報を用いて推薦をする手法です。グラフィカルモデルはベイジアンネットワークとも呼ばれ、最近一部で流行している機械学習の手法です。今回は、協調フィルタリングをグラフィカルモデルで表現したらどのようになるだろう、と考えて思いついたアイデアを紹介します。 今、ユーザuとアイテムiの組{u,i}のデータが大量に与えられているとします。例えばソーシャルブックマークならユーザとブックマークしているページの組み合わせ、E-commerseならユーザと購入した商品の組み合わせ、などです。ここではSBMを例に考えるので、はてブと同様にユーザはマイナスの評価を付けることはできないものとします。 このときユーザuに対してお勧めのページを推薦することを考えると、ユーザuがまだブックマークしていないページiに
はてなブックマークの関連エントリー機能開発、PFI さんとの合宿 - naoyaのはてなダイアリー
はてなブックマークに関連エントリーを配信する機能を追加しました。詳しくは 告知日記で。 この関連エントリーは、株式会社プリファードインフラストラクチャー (以下 PFI) の技術者のみなさんと一緒に開発しました。週末に2泊3日で京都で合宿をしてコア部分を作り、その後京都と東京に分かれてオンラインで連絡を取りながら2週間ほど作り込みをして、今日リリースです。 この合宿では何チームかに分かれて、今回の関連エントリーの機能以外の開発も行っています。その辺の成果はまた後日にリリースできるのではないかと思います。 はてなブックマークの一つの問題として、昔のエントリーがデータベースに埋もれてしまうという点がありました。その問題の解決策としての類似記事抽出、それから検索機能の強化を以前から考えていました。PFI のメンバーのみなさんは情報検索技術のスペシャリストです。アカデミックな研究の成果を製品化を通
『はてブ関連エントリ 技術解説』
はてなブックマーク関連エントリの技術に関しまして、はてなのnaoya さんと弊社のoxy さん・kzk さんの記事がとても詳しいです。僕は、合宿中は他のチームだったので開発には直接携わってはいないのですが、毎日のミーティングで、どのようなデータを使うと精度がどうなったよという成果報告を聞いていたので、２日目と３日目の精度のかわりようは衝撃的でした。タグを使うとよいというのは、非常に興味深いです。まだ精度面でも調整の余地はありますが、ブックマークした人のデータを使うなどよりも圧倒的に精度がよかったので、方向性は正しいのかな。 今回バックエンドで使っているエンジンは、連想検索エンジン のコアエンジンです。連想検索エンジンでは、文章と、それに含まれている単語を元に連想検索を実現しています。これが、ユーザーとブックマークしているエントリ、という対応になってもよいですし、エントリとその中に含まれてい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
