へ〜たのめも:Hadoop と RDBMS の性能を比較してみた。という論文。の感想。の翻訳。 - livedoor Blog（ブログ）
2009年04月19日 Hadoop と RDBMS の性能を比較してみた。という論文。の感想。の翻訳。 Stonebraker, DeWitt, et al. compare MapReduce to DBMS Map-Reduce (Hadoop)と Parallel DBMS (Vertica と DBMS-X) の性能を比較したところ、おおむね DB の方が性能がよく、ケースによっては 6.5倍も性能差があるという実験結果が、SIGMOD09 で発表されたらしい。原論文はここから PDF でダウンロードできる。 以下は DBMS2 というブログに書かれた、この論文を読んだ人の感想の翻訳。 Stonebraker, DeWitt, et al. MapReduce と DBMS の比較 5人の共著者(主筆者は Andy Pavlo っぽい)とともに、Map-Reduce 嫌いで知られ
MapReduce on Tyrant - mixi engineer blog
先日、隅田川の屋形船で花見と洒落込んだのですが、その日はまだ一分咲きも行ってなくて悲しい思いをしたmikioです。今回はTokyo Tyrant（TT）に格納したデータを対象としてMapReduceのモデルに基づく計算をする方法について述べます。 MapReduceとは Googleが使っているという分散処理の計算モデルおよびその実装のことだそうですが、詳しいことはググってください。Googleによる出自の論文やApacheプロジェクトによるHadoopなどのオープンソース実装にあたるのもよいでしょう（私は両者とも詳しく見ていませんが）。 今回の趣旨は、CouchDBがMapReduceと称してJavaScriptで実現しているデータ集計方法をTTとTCとLuaでやってみようじゃないかということです。簡単に言えば、以下の処理を実装します。 ユーザから計算開始が指示されると、TTは、DB内の
Amazon Elastic MapReduceを使ってみた - moratorium
Amazon Elastic MapReduceを使ってみた 2009-04-03 (Fri) 3:06 Amazon EC2 連日のEC2ネタです。本日、AmazonからElastic MapReduceというサービスがリリースされました。大規模データ処理技術が一気に民間の手に下りてくる、まさに革命的なサービスだと思います。 Amazon Elastic MapReduce Amazon ElasticMapReduce 紹介ビデオ With Hadoop, Amazon Adds A Web-Scale Data Processing Engine To Its Cloud Computer by techcrunch.com Elastic MapReduceは、Googleの基盤技術の一つであるMapReduceを時間単位課金で実行できるサービスです。MapReduceについては以
Big Data Platform - Amazon EMR - AWS
Amazon EMR is accessible in the next generation of Amazon SageMaker Amazon EMR Easily run and scale Apache Spark, Trino, and other big data workloads Amazon EMR is a big data processing service that accelerates analytics workloads with unmatched flexibility and scale. EMR features performance-optimized runtimes for Apache Spark, Trino, Apache Flink, and Apache Hive, drastically cutting costs and p
DBI をバックエンドにした CouchDB みたいなの - 酒日記 はてな支店
CouchDB は面白いのですが、Erlang で書かれた daemon を動かす必要があるので、環境によっては使いにくい。 ということで、Perl + DBI のみで似たような動作をするものを作ってみました。daemon じゃなくて、Perl から直接 DB を扱うライブラリです。 Coderepos に置きました。http://svn.coderepos.org/share/lang/perl/DBIx-CouchLike/trunk できることは単純。 (key => 任意の構造の hash ref) の CRUD CouchDB ぽい map / reduce 対応している DBD はとりあえず SQLite と PostgreSQL で。 CRUD use DBIx::CouchLike; use DBI; $dbh = DBI->connect("dbi:SQLite:dbna
楽天テクノロジーカンファレンス 2008にいってきました - d.hatena.zeg.la
1000人以上のエンジニア、全国各地に開発拠点をもっている 楽天のテクノロジーカンファレンスにいってきました。 分散並列処理フレームワークfaily,P2PオンメモリストレージROMAが 2009年にOpenSource化されるとのことでした。 楽天ウェブサービス APIの紹介 16種類のAPI 直近だと楽天ランキングAPI 1500万件,2万件の宿泊施設 Affiriateと連動可能 REST,JSON,SOAPのフォーマットをサポート 楽天ダイナミックアド 楽天版アドセンス 記事の内容にマッチした楽天の商品を出す 楽天経済圏 APIを使ったアプリが入り込める マッシュアップブームおちちている ALL 35,000ID Active 5,000ID Webサービス経由の流通金額は7.24% 3,500万request/day ItemSearch,GenreSearch,Itemcode
まつもと×笹田、Ruby 1.9を語る ― ＠IT
2007/12/25 「そういえばあのretryの話、どう思う？」、「誰も使ってないから害悪が多いっていう話は説得力ありますよね」、「じゃあなくすか……、うん、なくしといて」、「あ、決まっちゃった（笑）」――。 まつもとゆきひろと、笹田耕一。いま、世界が注目するプログラミング言語「Ruby」の生みの親と、開発コアメンバーの2人は、こともなげにRubyの仕様を記者の目の前で変更してしまった。Rubyの開発はどのように行われ、どこへ向かおうとしているのか。現行のバージョン1.8系から大きく様変わりする次期開発版「Ruby 1.9」のリリースを12月25日に控えた2人に、師走の秋葉原で話を聞いた（文中、敬称略）。 Rubyの仕様は密室で決まる!? 冒頭に紹介した2人の会話は、「retry」というRubyの文法の2種類ある使い方のうち、これまでほとんど使われた形跡がない方を文法仕様から取り除くかど
YappoLogs: GoogleのMapReduceをいまさら妄想した
処理内容 mapに対しては任意のデータが与えられる。 mapはkeyとvalueからなる大量のデータを戻す。 shuffleにて、全てのmapのkeyをまとめあげて、keyごとにreduce workerにkeyとvalue listを渡す。 reduceは、受け取ったkey/value listを処理する。 key/valueなデータに特化したPlaggerってことで間違いないのかなぁ？ mapperで大量のデータから必要な物をフィルタリング(Subscription,Aggregator)して、reducerで実際の処理(Filter,Publish,Notify)を行うというPlaggerみたいな感じ。 全てのmapやreduceに大しての各workerの仕事量は平均的になる様にバランス良く配置する。 多分、mapやreduceの直前で、それぞれのjobの大きさを計測してmanage
MapReduce - Cafe Babe
MapReduceは，Google社内でクラスタ上のデータ処理に用いられている並列分散プログラミングモデルである．ちょうど今サンフランシスコで開催されるOSDI 2004に発表予定の論文が，すでに公開されているが，これが非常に面白い． http://labs.google.com/papers/mapreduce.html 概要は次のような感じ． データ処理を，MapとReduceの2つに分割する．なお，この名前は同様な機能を持つLispの関数名が由来． Mapでは，あるキーと値の組から，中間のキーと値の組のリストを生成し，ローカルディスクに書き込む． Reduceでは，Mapが生成したキーと値の組をリモートディスクから読み出し，値のリストを返す． MapとReduceは，複数のワーカによって分散したマシン上で並列に実行される． たとえば，細分化された入力ファイルをMapを処理するワーカが
#318th PTT (in Japanese)
第 318 回 PTT のお知らせ 日時：2006年 1月26日(木) 18:30 から 場所：東京大学工学部 6号館（本郷キャンパス） 3階セミナー室A あまりわかりやすくはありませんが（失礼），交通機関の情報は「本郷アク セスマップ」（http://www.u-tokyo.ac.jp/campusmap/map01_02_j.html）を 御覧下さい. キャンパス内地図は「本郷キャンパス工学部 6号館」 （http://www.u-tokyo.ac.jp/campusmap/cam01_04_07_j.html）を参照して 下さい． ◆本郷三丁目駅（地下鉄丸ノ内線，地下鉄大江戸線），東大前駅（地下鉄南北線） からの場合： 本郷通りを通ってまず東京大学正門（キャンパス内を向くと安田講堂が見えます） を目指します．キャンパスに入り，安田講堂へと続く道の左側を並行にはしる道を 進みますと，
plaggerとMapReduce - YuichiTanakaの日記
本屋で日経ソフトウェアという雑誌を立ち読みしてたら、結城浩さんの連載でplaggerについて語っていた。なんとなくplaggerってperlの人たちのための話なんでしょ？と勝手に思ってて、ちょっと敬遠していたんだけど、結城さんの記事を読む限り、plaggerってMapReduceと同じだなと思った。それで俄然興味津々。 MapReduceに関しては、こちらの記事がすばらしいので、私が何も言う必要はないと思うけど、とても簡単に言うと、Googleが提案した、大量の分散したデータそれぞれにある処理を加え、その後に（必要に応じてフィルタリングしてから）それらを一つにまとめる、というプログラミングモデルの事（だと私は理解している）。こういったモデルに基づいてプログラムを書いても結構色々な事ができるみたいで、現にGoogleではMapReduceの論文が書かれた時点でMapReduceライブラリを使
MapReduceとSawzall 〜Wakhok マルレク・サブセミナー「Googleの分散処理技術」二日目〜 - サンフランシスコへの道 〜the long and winding load〜
先日に引き続き、秋葉原の稚内北星学園大学東京サテライト校で行われたマルレク・サブセミナーに行ってきました。 http://www.wakhok.ac.jp/tyo-sat/subsemi2007.html 今日は二日目で「MapReduceとSawzall」。 今回は前回の反省を活かし、早めに到着して良い席をGETできました。開始を待つ間にMapReduceの論文を眺めて予習。前回の講義スピードと同じだとすると、とても予習ナシでは内容についていけないので。 今回も内容が盛りだくさんで、講義はハイスピード。途中会場からの質問なんかも軽く盛り上がり、残念ながら予定していたSawzallの話は全く出来ませんでした。 では簡単に、興味深かったことをノートから抜粋。 「MapReduce」 関数型プログラミングモデルに基づき、大規模なデータセットの処理／生成を行う。 keyとvalueのペアを処理し
Apache Hadoop
Apache Hadoop The Apache® Hadoop® project develops open-source software for reliable, scalable, distributed computing. The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. It is designed to scale up from single servers to thousands of machines, each offering local computation an
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Parallel-MapReduce-0.09
MapReduce:Simplified Data Processing on Large Clusters
日本Javaユーザーグループ
日本Javaユーザーグループ