2006-07-20

⊂( ⊂(´_ゝ`)ぐー Kikkerの内部動作を結構大きく変えた。 というのも、今までのKikkerは一つのURLを解析するために、Bulkfeedsの形態素解析 APIを一回リクエストして、んでもって、Yahooで8個ぐらいのキーワードについてヒット数を調べてたのね。 ただ、この処理がすごーく重くてクローラの性能を制限してたから、この部分を全て自前でやることにした。 とは言っても、TF-IDFのIDFの部分をchasenの持ってる辞書の生起コストで置き換えただけなんだけど。 というわけで、今のKikkerは独り立ちしました。ただ、まだまだ若造なので抽出するキーワードがおかしいかもしれません(´ﾍ｀；) しかーし、クロールのコストが減ったので、その分各URLについてより大きなベクトルを得られるようにしました。よって、推薦の精度は上がるんじゃないかな(ベクトル計算の計算量が増えたのでページ