Hadoopを使ってサンプリングを行なうには - nokunoの日記
TokyoWebminingのustを見ていて、doryokujinさんのMapReduce入門編の資料がわかりやすくてよかったです。Map Reduce 〜入門編：仕組みの理解とアルゴリズムデザイン〜 View more presentations from Takahiro InoueMapReduceのアルゴリズムデザインに関しては、8月〜9月に邦訳も出るというMapReduce本を読んでいれば似た部分はわかりやすいと思います。MapReduce、とくにHadoopを使った場合のランダムサンプリングはどうやるのかなあ、というのが気になったのでちょっと考えてみました。 選択肢1：全データをシーケンシャルに読み込むdoryokujinさんの資料で説明されていた方法。Mapperで全データをシーケンシャルに読み込んでいき、[0,1]の乱数を返すrandom()関数が0.1以下ならば採用、と
平成２１年度 産学連携ソフトウェア工学実践事業報告書の公表について（METI/経済産業省）
高信頼組込みソフトウェア開発（委託先：一般社団法人JASPAR） 報告書（PDF形式：3,278KB） （ZIP形式：2,993KB） ソフトウェア工学の実践強化に関する調査研究（委託先：株式会社三菱総合研究所） 報告書（PDF形式：2,501KB） クラウドコンピューティング時代のDependabilityの考え方などに関する米国の動向調査（委託先：株式会社アイ・ビー・ティ） 報告書（PDF形式：4,583KB） （ZIP形式：4,300KB） クラウド・コンピューティングに関する国内外の制度・技術動向等の調査研究（委託先：株式会社野村総合研究所） 報告書（PDF形式：2,050KB） 高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）（委託先：株式会社エヌ・ティ・ティ・データ） （PDF形式：9,606KB） （ZIP形式：8,656
LSH (Locality Sensitive Hashing) を用いた類似インスタンスペアの抽出 - mixi engineer blog
GW 中の長距離移動のために体調が優れない takahi-i です. 今回は巨大なデータをマイニングする一つの技術として LSH (Localtiy Sensitive Hashing) を紹介させていただきます. LSH とは LSH は大量なデータから類似度が高いインスタンスのペアを高速に抽出してくれるアルゴリズムです. ここでインスタンスはデータ集合の一つの要素を表します. たとえば扱うデータが E-コマースサイトの購買ログであれば, インスタンスは各ユーザですし, 画像データ集合であれば, インスタンスは個々の画像データです. LSH の詳しい解説については以下のサイトがあります. Wikipedia のエントリ LSH に関する論文がまとめられているページ 本稿ではE-コマースサイトの購買履歴データを基に LSH の機能について述べてゆきます. 以下のような E-コマースサイトの
企業で使われるHadoop
Copyright © 2004-2024 Impress Corporation. An Impress Group Company. All rights reserved.
Hadoop Conference Japan 2009 #2
楽天のHadoop利用事例（後半） 2009年11月13日に行われました、Hadoop Conference Japan 2009の発表資料です。Read less
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
