2006-08-23
⊂( ⊂(´_ゝ`)ぐー 今年の特別演習は、はてブでコラボレイティブフィルタ*1をしようというのを提案してやることになったんだけど、それについての担当教官とのミーティングが29日にある。 というわけで、そろそろ、夏休みの成果を作らなくてはいけない。じゃないと、「何もやってましぇーん」って言うだけになってしまう。それは困る。 よーし。Let's 実装!! とりあえず、はてブの新着エントリのページから、一万エントリ分ほどクロールして*2、ユーザとページをキーとする2次元の疎行列を作る*3。 そして、コラボレィティブフィルタのアルゴリズムを実装。ネタはバラすと感動がなくなるので、バラさない。もしくは、また今度。 で、テストしてみると、それっぽい答えは一応返ってくる。ただ、アルゴリズムが正しく実装されているのか微妙なところがあるので*4、どうなのやら。 とりあえず、もうちょっと頑張ってみまする。
2006-07-20
⊂( ⊂(´_ゝ`)ぐー Kikkerの内部動作を結構大きく変えた。 というのも、今までのKikkerは一つのURLを解析するために、Bulkfeedsの形態素解析 APIを一回リクエストして、んでもって、Yahooで8個ぐらいのキーワードについてヒット数を調べてたのね。 ただ、この処理がすごーく重くてクローラの性能を制限してたから、この部分を全て自前でやることにした。 とは言っても、TF-IDFのIDFの部分をchasenの持ってる辞書の生起コストで置き換えただけなんだけど。 というわけで、今のKikkerは独り立ちしました。ただ、まだまだ若造なので抽出するキーワードがおかしいかもしれません(´ﾍ｀；) しかーし、クロールのコストが減ったので、その分各URLについてより大きなベクトルを得られるようにしました。よって、推薦の精度は上がるんじゃないかな(ベクトル計算の計算量が増えたのでページ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
