GW 中の長距離移動のために体調が優れない takahi-i です. 今回は巨大なデータをマイニングする一つの技術として LSH (Localtiy Sensitive Hashing) を紹介させていただきます. LSH とは LSH は大量なデータから類似度が高いインスタンスのペアを高速に抽出して... 続きを読む

• alpha.mixi.co.jp
• テクノロジー

高速に類似度計算をしたい場合、典型的に使われるのは Locality sensitive hashing (LSH)という技術であり、元々距離が近いインスタンス同士はハッシュ値が近くなるようにハッシュ関数を作ることで高速に類似度を計算したりできるというお話なのだが、最近 Sema... 続きを読む

• d:id:mamoruk
• テクノロジー

最近simhashの実装を行っていて、データの次元が高いとsimhashを計算するのに必要なランダムなベクトルをメモリ上に乗らないという事態が生じたのでad hocな方法で回避していたけど、論文[1]をよく見直すとほぼ同じ方法でより計算コストが少ない方法が紹介して... 続きを読む

• d:id:tsubosaka
• テクノロジー

This library is part of the CASS project. Author:Wei Dong wdong [@] cs.princeton.edu 2008-2009 UPDATES lshkit snapshot - 2009-03-02 Introduced experimental scanner interface. Scanner is a unary functional object which is passed into LSH index... 続きを読む

• lshkit.sourceforge.net
• テクノロジー