LSH (Locality Sensitive Hashing) を用いた類似インスタンスペアの抽出 - mixi engineer blog
GW 中の長距離移動のために体調が優れない takahi-i です. 今回は巨大なデータをマイニングする一つの技術として LSH (Localtiy Sensitive Hashing) を紹介させていただきます. LSH とは LSH は大量なデータから類似度が高いインスタンスのペアを高速に抽出してくれるアルゴリズムです. ここでインスタンスはデータ集合の一つの要素を表します. たとえば扱うデータが E-コマースサイトの購買ログであれば, インスタンスは各ユーザですし, 画像データ集合であれば, インスタンスは個々の画像データです. LSH の詳しい解説については以下のサイトがあります. Wikipedia のエントリ LSH に関する論文がまとめられているページ 本稿ではE-コマースサイトの購買履歴データを基に LSH の機能について述べてゆきます. 以下のような E-コマースサイトの
Mapreduce & Hadoop Algorithms in Academic Papers | atbrox
The newest and most up-to-date version (May 2010) this blog post is available at http://mapreducebook.org An updated and extended version of this blog post can be found here. Motivation Learn from academic literature about how the mapreduce parallel model and hadoop implementation is used to solve algorithmic problems. Disclaimer: this is work in progress (look for updates) Input Data – Academic P
NewsPersonalizationSystem - Hadoop Wiki
News Personalization System Initial Contributors Download Algorithm Overview NPS Architecture Clustering Algorithms User clustering - MinHash MinHash Clustering - PLSI Algorithm Covisitation count References News Personalization System Google's News Personalization System Clone Project. Initial Contributors Edward Yoon (R&D center, NHN corp.) Download http://www.hadoop.co.kr Algorithm Overview
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
