HadoopのMapReduceのシャッフル - wyukawa's diary
象本2版の6.4 シャッフルとソートを読んでMapReduceのシャッフルって面白いし興味深いなーと思い、ついでに軽くHadoop 0.20系のソースもあわせて読んでみたのでメモっておく。 シャッフルっていうとまずソートのイメージだよね。ていうか僕自身はそうだった。 ワードカウントの例でいうとこんな感じ。キーでソートしてるね。 まあソートもメインな処理なんだろうけど他にもいろいろやってます。 map関数の出力からreduce関数の入力までの一連の処理をすべてシャッフルと呼ぶと思うんだけど、以下のようなことをやってます。 まずmapタスク側の処理を見て行きましょう。HadoopのソースはMapTaskが該当します。 mapタスクでは出力が書き込まれる循環メモリバッファがあります。これがMapOutputBufferに相当します。 このバッファの大きさがデフォルト100Mで80%書き込まれると
The Next Generation of Apache Hadoop MapReduce · Yahoo! Hadoop Blog
Overview In the Big Data business running fewer larger clusters is cheaper than running more small clusters. Larger clusters also process larger data sets and support more jobs and users. The Apache Hadoop MapReduce framework has hit a scalability limit around 4,000 machines. We are developing the next generation of Apache Hadoop MapReduce that factors the framework into a generic resource schedu
Hadoop MapReduceプログラムを解剖する
オープンソース・ソフトウェア「Hadoop」のMapReduceジョブは、標準ではJavaで記述します（その他には、Pig、Hive、JAQLといったものがあります）。しかし、意外と初心者には分かりにくいと筆者は感じます。本記事では、MapReduceジョブのサンプルコードを使って、できる限り正しくコードの意味を理解し、MapReduceへの入り口を示したいと思います。 HadoopでMapReduceを記述するときに使うAPIが、0.19から0.20に変わるところで新しくなっています。実は、現時点でHadoopプロジェクト本体からでさえも、新APIを使ったサンプルが提示されていません。本記事では、新しいAPIで筆者が書き直したサンプルを使って解説しますので、このサンプルは0.19以前のHadoopでは動かないことに注意してください。この記事は、0.20.2を使って検証し、解説しています。
データベースとHadoopの連携
Hadoopのしくみとデータベースシステムとの対比 HadoopはGoogleの分散処理基盤システムを紹介した論文をもとに、Apacheコミュニティにて開発されたオープンソースの分散処理システムです。分散処理環境の構築に汎用ハードウェアを活用し、MapReduceと呼ばれる比較的シンプルな分散処理フレームワークを導入することにより、これまでは困難であった分散処理アプリケーション構築のハードルを大きく下げ、大規模データ処理の基盤として活用する事例も増えてきています。 Hadoopのコアの部分は、Hadoop Distributed File System (HDFS) という分散ファイルシステムと、MapReduce分散処理フレームワークが密接に組み合わされて構成されています。Hadoopでデータを処理する場合には、まずデータはファイルとしてHDFS上に格納されますが、HDFSはデータを固定
S4
2. S4とは • Simple・Scalable・Streaming・System • Yahoo!の検索広告最適化チームが開発した システムがベース • 数年間の開発期間を経て、2010年10月にオープンソースとし 公開 • MapReduceに”インスパイアされた”、 しかし全く別の考え方によるデータ処理フレームワーク 3. おさらい・MapReduceの処理 • 入力と出力が一つずつ • Map/Reduceの組で一つの処理を実現 • 全体の処理はマスターノードがコーディネイトする Map1 key1= v1, v2... Reduce Output Input Map2 key2= v1, v2 ... Reduce Map3 4. MapReduceの制約 • 入力と出力が一つずつでは不便 o バッチ処理にせざるを得ない o 複数のクライアントからのデータをまとめる仕組が必須
グーグルのBigQuery、大規模処理の「仕組みは秘密です」
先週行われたグーグルのイベント「Google I/O」で発表された、大規模データをSQLライクな命令によって高速に処理してくれる新サービス「BigQuery」。3日前に公開した記事「グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作」で、その概要をお伝えしました。 そのBigQueryについて、Google I/Oのセッションに参加されていたスティルハウス 佐藤一憲氏が「BigQueryってなんぞ？」とエントリをブログに書いています。自由にコピペしていいと許可をいただいたので、あらためてBigQueryとはどんなものなのか、ポイントを紹介しましょう。 大規模なデータを処理できるといえば、思い浮かぶのはMapReduceです。佐藤氏はBigQueryとMapReduceの違いをこう書いています。 MapReduceとはどう違う？ 大規模な
グーグル、フル機能のMapReduceをGoogle App Engineで提供へ
グーグルは同社のクラウドサービスであるGoogle App Engineで、フル機能のMapReduce機能を提供することが同社のイベントGoogle I/O 2011で明らかにしました。 これまでGoogle App EngineではMapReduceを構成する「Map」「Shuffle」「Ruduce」の3つのうち、Mapperの機能の提供が行われてきました。 Google I/O 2011で行われたセッション「App Engine MapReduce」では、MapReduceを構成するすべての機能の提供が行われることが発表されています。 セッションのポイントを紹介しましょう。 App Engine MapReduce App EngineエンジニアリングチームのMike Aizatsky氏。 MapReduceは数年前にグーグルが開発した処理。社内ではほとんどあらゆるチームがこの処理
Yahoo!のリアルタイムMapReduce「S4」メモ(1) - 科学と非科学の迷宮
(2010/11/06) 続き書きました 自分用メモ。 注意:「リアルタイム」について Yahoo! からの最初のリリースで「リアルタイム」MapReduce と書かれていたので仕方なくそう書いているが、人によっては聞いただけでキレるので注意すること。(特にOS屋さん相手のとき) 参考:リアルタイムシステム - Wikipedia ちなみに下記公式サイトには "Realtime" という文字は一切出てこない。 リンクまとめ(紹介用) 公式 S4.IO 日本語のニュース リアルタイムなHadoop？ 「Real-Time MapReduce」を実現するS4、オープンソースとしてYahoo!が公開 － Publickey Yahoo!からの第一報 Page not found | Yahoo Labs リンクまとめ(技術者用) wiki Tutorials "getting started"
リアルタイムなHadoop？ 「Real-Time MapReduce」を実現するS4、オープンソースとしてYahoo!が公開 － Publickey
米Yahoo!は、大規模データの分散処理を実現するMapReduceをリアルタイムに行うソフトウェア「S4」を、オープンソースとして公開しました。 MapReduceを実行するソフトウェアとして、オープンソースの「Hadoop」がありますが、Hadoopはあらかじめジョブを定義して投入するバッチ処理を前提としていました。 S4は、データをキーとバリューのペアで構成されるストリームデータとして非同期に受け取ることができ、処理結果もキーバリューのペアで構成されたストリームデータとして出力するようになっているとのこと。 この非同期なストリームデータによる入出力が、リアルタイムなMapReduceを実現するフレームワークとしてのS4の特徴といえます。 リアルタイムなMapReduceで何ができる？ リアルタイムなMapReduceにはどのような用途が考えられるのでしょうか？ S4の公開を表明したY
S4
S4 - Presentation Transcript S4: the open-source distributed stream computing platformNachi Ueno 自己紹介 日本のどこかの研究所と呼ばれている組織で日々働いています 最近は、Hadoop,OpenStack,スケールするRDBMSとかに興味があります SimCloudというクラウド管理ツールを作ってます -> OSS公開予定 http://wiki.openstack.org/simcloud Twitter @nati OpenStacker達と@築地 S4 (Simple Scalable Streaming System) http://s4.io/ S4 is a general-purpose, distributed, scalable, partially fault-tole
blog.katsuma.tv
前回、JavaScriptでMap Reduceのコードが書けるHadoop Streamingについて紹介しました。 標準入出力さえサポートされてあれば、任意のコードでMap Reduuceの処理が書ける、というものでしたが、エンジニアはそもそも面倒くさがり。コードも書くのも面倒です。 と、いうわけで、今回はもうコードすら書かずにSQLライクでMap ReduceできるHiveというプロダクトについて、まとめたいと思います。 Hive Hiveとは、簡単に言うとHadoop上で動作するRDBのようなものです。 HDFSなどの分散ファイルシステム上に存在するデータに対して、HiveQLというSQLライクな言語で操作できます。 で、面白いのがHiveQLの操作は基本的にMap Reduceのラッパーになっていること。 要するに、SELECT文実行すると裏でMap&Reduceのタスクが走り出
Amazon Elastic MapReduceを使ってみた - moratorium
Amazon Elastic MapReduceを使ってみた 2009-04-03 (Fri) 3:06 Amazon EC2 連日のEC2ネタです。本日、AmazonからElastic MapReduceというサービスがリリースされました。大規模データ処理技術が一気に民間の手に下りてくる、まさに革命的なサービスだと思います。 Amazon Elastic MapReduce Amazon ElasticMapReduce 紹介ビデオ With Hadoop, Amazon Adds A Web-Scale Data Processing Engine To Its Cloud Computer by techcrunch.com Elastic MapReduceは、Googleの基盤技術の一つであるMapReduceを時間単位課金で実行できるサービスです。MapReduceについては以
スグルニッキ» ブログアーカイブ » CouchDB 0.8 を試してみる
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
いま再注目の分散処理技術
実運用の障害対応時間比較に見る、ログ管理基盤の効果 （2017/5/9） ログ基盤の構築方法や利用方法、実際の案件で使ったときの事例などを紹介する連載。今回は、実案件を事例とし、ログ管理基盤の有用性を、障害対応時間比較も交えて紹介 Chatwork、LINE、Netflixが進めるリアクティブシステムとは何か （2017/4/27） 「リアクティブ」に関連する幾つかの用語について解説し、リアクティブシステムを実現するためのライブラリを紹介します Fluentd＋Elasticsearch＋Kibanaで作るログ基盤の概要と構築方法 （2017/4/6） ログ基盤を実現するFluentd＋Elasticsearch＋Kibanaについて、構築方法や利用方法、実際の案件で使ったときの事例などを紹介する連載。初回は、ログ基盤の構築、利用方法について プログラミングとビルド、Androidアプリ開
Amazon EC2／S3，分散処理基盤Hadoopの設定支援機能「Elastic MapReduce」を提供
米Amazon.com傘下の米Amazon Web Services（AWS）は米国時間2009年4月2日，大量データの分散処理を支援するサービス「Amazon Elastic MapReduce」の米国向けベータ提供を開始したと発表した。AWSのクラウド・サービスと，オープンソースの分散処理プラットフォーム「Hadoop」を組み合わせ，大量データを扱う際に必要となる設定作業の負担を軽減する。 Amazon Elastic MapReduceを利用すると，ホスティング・サービス「Amazon Elastic Compute Cloud（Amazon EC2）」とオンライン・ストレージ・サービス「Amazon Simple Storage Service（Amazon S3）」で動かす分散アプリケーションに割り当てる演算リソースの量を簡単に指定できるという。Amazon EC2のインスタンス
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Percolator: 大規模データ用の逐次更新処理システム
http://agilecatcloud.com/2010/09/13/google-instant-%E3%81%A7%E3%81%AF%E3%80%81%E3%83%AA%E3%82%A2%E3%83%AB%E3%82%BF%E3%82%A4%E3%83%A0%E6%A4%9C%E7%B4%A2%E3%81%AE%E3%81%9F%E3%82%81%E3%81%AB-mapreduce-%E3%82%92%E6%8E%92%E9%99%A4%EF%BC%81/
atbrox | Accelerates Innovation with Code