楽天も情報爆発しています - 武蔵野日記

楽天テクノロジーカンファレンスには行かれなかったのだが、大規模分散処理フレームワークの設計、実装が進行中 -- 楽天版MapReduce・HadoopはRubyを活用などを読むと、けっこうおもしろそうだったのだな、と分かる。 楽天技術研究所がどういう位置づけなのかは分からないが、こういう基盤技術の開発を支援しているというのは評価していいと思う。(車輪の再発明という気がしないでもないが) 個人的な興味としては楽天が大規模データに対してどういうことをしているかということなのだが、記事を見るといろいろ書いてある。 計算モデルがシンプルでも規模が巨大になるとまったく別の問題が生まれてくる。処理すべき情報量が爆発的に増加しているからだ。 例えば協調フィルタリングではユーザーを縦軸に、商品アイテムを横軸にした購買履歴マトリックスについて計算処理を行う必要があるが、あまりに量が多く、素直に実装すると「2

[shiumachi]

"LSH の予測精度は pLSA よりずっと悪く，使わない方がよいように見えます"そーなのかー

[TheTocotonist]

lsh [****]

[todesking]

コメント欄

[aidiary]

しましまさんコメント参考になる

[y_yanbe]

Locality Sensitive Hashingは要チェックだなー

[shokai]

コメント欄も

[hiromark]

コメント欄が熱い！

[kzk]

コメント欄も情報爆発しています

[pitworks]

１．アルゴリズムの工夫 2.大規模分散処理で対応　嗜好の似たユーザーかどうかを判定するのに、「ローカリティ・センシティブ・ハッシング」（LSH:Locality Sensitive Hashing）というテクニックを使用

[otonasi_kaoru]

LSHを実際に使ってるのは初めてみた