LSH (Locality Sensitive Hashing) を用いた類似インスタンスペアの抽出 - mixi engineer blog
GW 中の長距離移動のために体調が優れない takahi-i です. 今回は巨大なデータをマイニングする一つの技術として LSH (Localtiy Sensitive Hashing) を紹介させていただきます. LSH とは LSH は大量なデータから類似度が高いインスタンスのペアを高速に抽出してくれるアルゴリズムです. ここでインスタンスはデータ集合の一つの要素を表します. たとえば扱うデータが E-コマースサイトの購買ログであれば, インスタンスは各ユーザですし, 画像データ集合であれば, インスタンスは個々の画像データです. LSH の詳しい解説については以下のサイトがあります. Wikipedia のエントリ LSH に関する論文がまとめられているページ 本稿ではE-コマースサイトの購買履歴データを基に LSH の機能について述べてゆきます. 以下のような E-コマースサイトの
SIGMOD日本支部第42回支部大会 講演資料 - 大規模検索エンジンとレコメンドシステムを支える仕組み - DO++
昨日、東工大で開催されたSIGMOD日本支部第42回支部大会の発表資料です。 * 大規模検索エンジンとレコメンドシステムを支える仕組み [pdf] [pptx] - 近年の全文索引手法の解説 -- 転置ファイル, N-gram,半転置ファイル,格納 (VarByte, Rice, Simple9, NewPFOR)、接尾辞配列、圧縮全文索引 - レコメンデーションの内積の高速な計算, -- 単純な計算から、LSH, 補正付サンプリング - PFIの製品紹介 -- Sedue, Hotate, Reflexa ---- SIGMOD日本支部大会は以前オープンソース全文検索エンジンの会に参加したことはあったのですが、コミュニティが強いなという気がします。喜連川先生の受賞記念講演も重みのある話、本音の話がきけて大変ためになりました。 この一年は武者修行ということでいろんな分野の会にいくようにして
Locality Sensitive Hashing に挑んでみた - download_takeshi’s diary
久々のエントリです。 Locality Sensitive Hashing を perl で使うためのモジュールを書いてみました。Algorithm::LSHと名付けました。 先ほどDeveloper ReleaseとしてCPANにあげましたが、反映されるまで時間かかるので、興味ある方はcodereposからみてください。 Algorithm::LSH CPAN: http://search.cpan.org/~miki/Algorithm-LSH/ coderepos: http://coderepos.org/share/browser/lang/perl/Algorithm-LSH 超アルファバージョンな状態ですが、そのうちgithubにもupする予定。 そうそう、そう言えば WEB+DB PRESS Vol.49 にレコメンドエンジンの特集があって、その中に偶然にもLocality
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
