Amazon.co.jp: Hadoop MapReduce デザインパターン ―MapReduceによる大規模テキストデータ処理: Jimmy Lin (著), Chris Dyer (著), 神林飛志 (監修), 野村直之 (監修), 玉川竜司 (翻訳): 本
マイスペース、分散処理フレームワーク「qizmt」をオープンソースに
MySpaceは米国時間9月15日、「qizmt」と呼ばれる新しいオープンソースプロジェクトを発表した。qizmtは、同社のデータマイニングチームが開発した分散型コンピュテーションフレームワークだ。 qizmtは、Googleにおける検索インデックス作成の中核的なシステムとしてよく知られている「MapReduce」をベースにしている。しかし、qizmtは、「Microsoft Windows」サーバで構成された大規模クラスタ上で動作する。これはコモディティレベルのLinuxマシンを利用するものと思われがちなコンピューティングスタイルとしては興味深い点である。 MapReduceは、巨大なデータセットを処理、生成するためのプログラミングモデル。キーとバリューのペアを処理して中間的なキーとバリューのペアセットを生成するmap関数や、その処理結果を集約するreduce関数を利用するのが特徴である
Amazon EC2をベースに分散処理システムを構築する·Cloud Crowd MOONGIFT
Cloud CrowdはRuby製のオープンソース・ソフトウェア。大量のデータを処理しようと思った時にはMapReduceのような仕組みに注目が集まる。テキストのみならず、大量のOCR処理が必要になったり画像をサムネイル化したいといった時にはどのようなシステムを構築するのだが良いだろうか。 Rubyを使って分散処理 一時的に無数のシステムを立ち上げ平行で処理を走らせる時に注目したいのがAmazon EC2だ。以前、ニューヨークタイムズでは1,100万枚を越える画像をPDFに変換するという処理をAmazon EC2のインスタンスを100立ち上げて行ったという事例がある。どうようのシステムを構築するのがCloud Crowdだ。 Cloud Crowdも利用するのはAmazon EC2だ。アクションはRubyで定義するようになっており、テキスト処理のみならず画像変換などの柔軟なシステム処理が可
MapReduce - naoyaのはてなダイアリー
"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。 MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapReduce の計算モデル map() にはその計算問題のデータとしての key-value ペアが次々に渡ってきます。map() では key-value 値のペアを異なる複数の key-value ペアに変換します。reduce() には、map() で作った key-value ペアを同一の key で束ねたものが順番に渡ってきます。その key-values ペアを任意の形式に変換すること
MapReduce on Tyrant - mixi engineer blog
先日、隅田川の屋形船で花見と洒落込んだのですが、その日はまだ一分咲きも行ってなくて悲しい思いをしたmikioです。今回はTokyo Tyrant（TT）に格納したデータを対象としてMapReduceのモデルに基づく計算をする方法について述べます。 MapReduceとは Googleが使っているという分散処理の計算モデルおよびその実装のことだそうですが、詳しいことはググってください。Googleによる出自の論文やApacheプロジェクトによるHadoopなどのオープンソース実装にあたるのもよいでしょう（私は両者とも詳しく見ていませんが）。 今回の趣旨は、CouchDBがMapReduceと称してJavaScriptで実現しているデータ集計方法をTTとTCとLuaでやってみようじゃないかということです。簡単に言えば、以下の処理を実装します。 ユーザから計算開始が指示されると、TTは、DB内の
MapReduceとパラレルRDBでベンチマーク対決、勝者はなんとRDB！
大量のデータを処理する手法として登場したMapReduce。クラウドに対応した分散処理の定番として話題に上ることが増えてきました。 MapReduceは、大量のデータを分割し、分割したデータを分散したノードに投げてノードごとに処理を実行、結果を集約して最終的な答えを求める、といった手法です。 しかしMapReduceが登場する以前から商用レベルで使われていた分散処理手法があります。データを分散したデータベースに格納し処理を行うパラレル・リレーショナルデータベース（パラレルRDB）がその1つです。 パラレルRDBは、データを複数のデータベースに分散して配置、データベースごとに処理を行い、結果を求める手法です。中央に共有メモリを配置するなどの方法で分散したデータベース同士の連携を行うことが一般的です。 ではパラレル・リレーショナルデータベースはMapReduceより遅いのか？ 劣るのか？ 両者
へ〜たのめも:Hadoop と RDBMS の性能を比較してみた。という論文。の感想。の翻訳。 - livedoor Blog（ブログ）
2009年04月19日 Hadoop と RDBMS の性能を比較してみた。という論文。の感想。の翻訳。 Stonebraker, DeWitt, et al. compare MapReduce to DBMS Map-Reduce (Hadoop)と Parallel DBMS (Vertica と DBMS-X) の性能を比較したところ、おおむね DB の方が性能がよく、ケースによっては 6.5倍も性能差があるという実験結果が、SIGMOD09 で発表されたらしい。原論文はここから PDF でダウンロードできる。 以下は DBMS2 というブログに書かれた、この論文を読んだ人の感想の翻訳。 Stonebraker, DeWitt, et al. MapReduce と DBMS の比較 5人の共著者(主筆者は Andy Pavlo っぽい)とともに、Map-Reduce 嫌いで知られ
Hadoopで、かんたん分散処理 (Yahoo! JAPAN Tech Blog)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、地域サービス事業部の吉田一星です。 今回は、Hadoopについて、Yahoo! JAPANでの実際の使用例を交えながら書きたいと思います。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 複数のマシンへの分散処理は、プロセス間通信や、障害時への対応などを考えなければならず、プログラマにとって敷居が高いものですが、 Hadoopはそういった面倒くさい分散処理を一手に引き受けてくれます。 1台では処理にかなり時間がかかるような大量のデータも、複数マシンに分散させることで、驚くべきスピードで処理を行うことができます。 例えば、今まで1台でやっていた、あるログ集計処理
アマゾン、「Hadoop」を利用した「Amazon Elastic MapReduce」のベータサービスを開始
Amazonの子会社Amazon Web Services（AWS）は米国時間4月2日、オープンソースのソフトウェアフレームワーク「Hadoop」を利用して大量のデータ解析を行う、新たなクラウドコンピューティングのベータサービスを開始した。 「Amazon Elastic MapReduce」と呼ばれるこのサービスは、集中的なデータ処理を必要とする企業、研究者、アナリストを対象に開発された（発表資料）。HadoopはYahooなどの企業も採用しているが、Clouderaなどの新興企業はHadoopを企業データセンターとして利用するためのサービスを提供している。 Amazon Elastic MapReduceは、同社の「Elastic Compute Cloud」（EC2）および「Simple Storage Service」（S3）上でHadoopを稼働させる。顧客はAmazon Ela
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Hadoop Distribution | MapR
IBM Developer