検索エンジンのための転置インデックス作成 #hadoopreading
検索エンジンのための転置インデックス作成 #hadoopreading - Presentation Transcript 検索エンジンのための転置インデックス構築 Data-Intensive Text Processing with MapReduce 第4章 #hadoopreading @nokuno 自己紹介 2 Twitter: @nokuno はてな：id:nokuno 自然言語処理 / 機械学習 / 並列分散処理に興味 TokyoNLP主催 第4回は1/22(土) 2002～2006：ゲームプログラミングに没頭 2007～2008：未踏でSocial IMEを開発 2009～現在：Web系エンジニア（←今ここ） 教科書 3 Data-Intensive Text Processing with MapReduce 大規模テキスト処理の教科書 Hadoopに
MapReduce以外の分散処理基盤BSP, Piccolo, Sparkの紹介 - Preferred Networks Research & Development
どうも，実は今年から開発チームにjoinしていた中川です．可愛い犬の写真がなかったので，可愛いマスコットの画像を貼っておきます． 最近MapReduceとかその実装であるHadoopとかをよく聞くようになりました．これはつまり，それだけ大量のデータをなんとか処理したいという要望があるからだと思います．しかし当たり前ですが，MapReduceは銀の弾丸ではありません． ということで，最近気になっているMapReduceとは違ったアプローチを取っている分散処理基盤について，社内のTechTalkで話した内容を簡単にまとめて紹介したいと思います． Bulk Sychronous Parallel このアルゴリズム自体は1990年に誕生したものです．長いのでBSPと書きます．さて，グラフから最短経路を求める時，MapReduceは使えるでしょうか？このような論文が出るくらいですから出来ないことはあ
Design patterns for efficient graph algorithms in MapReduce
Design Patterns for Efficient Graph Algorithms in MapReduce Jimmy Lin and Michael Schatz University of Maryland, College Park {jimmylin,mschatz}@umd.edu ABSTRACT Graphs are analyzed in many important contexts, includ- ing ranking search results based on the hyperlink struc- ture of the world wide web, module detection of protein- protein interaction networks, and privacy analysis of social network
Design Patterns for Efficient Graph Algorithms in MapReduce__HadoopSummit2010
1. Design Patterns for Efficient Graph Algorithms in MapReduceJimmy Lin and Michael SchatzUniversity of MarylandTuesday, June 29, 2010This work is licensed under a Creative Commons Attribution-Noncommercial-Share Alike 3.0 United StatesSee http://creativecommons.org/licenses/by-nc-sa/3.0/us/ for details
HadoopSummit2010の各自のレビューのまとめですか
Agile Cat @Agile_Cat Hadoop モテモテｗ RT @xxkickerxx: 私もー見ますー。RT @Agile_Cat: あとで見ます～～～♪ RT @ryu_kobayashi: Hadoop2010: Hadoop Security in Detail. http://goo.gl/le4w 御徒町@Serializable @okachimachiorz HadoopSecurity 0.20系 ①ケルベロス導入 ②HDFSへのアクセス（ticket） ③MRのACLの設定 独立ユーザーがそれぞれにセキュアにHadoopを利用するようにしている。http://bit.ly/93T45E @myen
XXL Graph Algorithms__HadoopSummit2010
This document summarizes two graph algorithms for analyzing large graphs: connected components and clustering coefficient. For connected components, it describes a two step approach: 1) partition the graph and summarize connectivity on each partition, reducing data size, and 2) recombine the summaries to find the overall connected components. This approach works for other problems like finding min
MapReduceとパラレルRDBでベンチマーク対決、勝者はなんとRDB！
大量のデータを処理する手法として登場したMapReduce。クラウドに対応した分散処理の定番として話題に上ることが増えてきました。 MapReduceは、大量のデータを分割し、分割したデータを分散したノードに投げてノードごとに処理を実行、結果を集約して最終的な答えを求める、といった手法です。 しかしMapReduceが登場する以前から商用レベルで使われていた分散処理手法があります。データを分散したデータベースに格納し処理を行うパラレル・リレーショナルデータベース（パラレルRDB）がその1つです。 パラレルRDBは、データを複数のデータベースに分散して配置、データベースごとに処理を行い、結果を求める手法です。中央に共有メモリを配置するなどの方法で分散したデータベース同士の連携を行うことが一般的です。 ではパラレル・リレーショナルデータベースはMapReduceより遅いのか？ 劣るのか？ 両者
Data-Intensive Text Processing with MapReduce
Jimmy Lin and Chris Dyer. Morgan & Claypool Publishers, 2010. Our world is being revolutionized by data-driven methods: access to large amounts of data has generated new insights and opened exciting new opportunities in commerce, science, and computing applications. Processing the enormous quantities of data necessary for these advances requires large clusters, making distributed computing paradig
OBB vs AABB - Radium Software Development
iPhoneの一般修理店は予約なしでも来店できる？ 基本的には飛び込みで修理に行ってもOK iPhoneを置いていたソファにうっかりと腰かけてしまい、パネルを割ってしまった、こんな時はスマホの一般修理店へ行きましょう。画面割れは、スマホやタブレットの故障原因として非常に多いものです。予約なしで突然お店に行っても平気かしらと、不安に思う方々もいらっしゃるかもしれません。結論としては特に問題はなく、予約なしで訪問しても画面割れの修理はお願いできます。 ただし他のサービス業のお店同様、予約なしの場合、お店が混雑していると順番待ちをしなければいけないです。特に繁盛しているスマホ修理のお店だと、行列が店内で出来ており、予約なしだと、自分の順番が巡ってくるまで長時間待たされる可能性があります。平日の朝、昼なら利用客が少ない場合が多く、飛び込みでも比較スムーズに修理が頼めます。 予約は入れた方が時短に、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Jimmy Lin » Data-Intensive Text Processing with MapReduce