MapReduce以外の分散処理基盤BSP, Piccolo, Sparkの紹介 - Preferred Networks Research & Development
どうも，実は今年から開発チームにjoinしていた中川です．可愛い犬の写真がなかったので，可愛いマスコットの画像を貼っておきます． 最近MapReduceとかその実装であるHadoopとかをよく聞くようになりました．これはつまり，それだけ大量のデータをなんとか処理したいという要望があるからだと思います．しかし当たり前ですが，MapReduceは銀の弾丸ではありません． ということで，最近気になっているMapReduceとは違ったアプローチを取っている分散処理基盤について，社内のTechTalkで話した内容を簡単にまとめて紹介したいと思います． Bulk Sychronous Parallel このアルゴリズム自体は1990年に誕生したものです．長いのでBSPと書きます．さて，グラフから最短経路を求める時，MapReduceは使えるでしょうか？このような論文が出るくらいですから出来ないことはあ
Google Percolator – global search jolt sans MapReduce comedown
Google Percolator – global search jolt sans MapReduce comedown Google Caffeine — the revamped search infrastructure recently rolled out across Google's worldwide network of data centers — is based on a distributed data-processing system known as Percolator. Designed by Google and, until now, jealously guarded by Google, Percolator is a platform for "incremental processing" — a means of continually
「Jaql」を使ってMapReduceをより簡単に
Jaql（a query language desired for JSON：JSON用に位置づけられたクエリ言語）は、JSON型式のデータを処理するためのクエリ言語で、Apache HadoopのMapReduceを処理するための実装が存在します。日本語では「じゃっくる」と発音します。ジャッカルに似ているため、一部のサイトにはジャッカルの写真が掲載されていました。 もともとはIBMのアルマデン研究所で研究・開発され、オープンソースへ提案されました。本原稿執筆時点では、Apache Incubatorプロジェクトになっており、Google Codeのサイトで開発が進められています。 IBMアルマデン研究所のサイト Apache Hadoop用実装のダウンロードサイト 本記事執筆時点では、つい先頃リリースされた、Jaql 0.5.1をベースに解説しています。 1. JSONの基礎 JSON（
MapReduceを使わない大規模分散データ更新システム「Percolator」 | gihyo.jp
Google Researchにて「Large-scale Incremental Processing Using Distributed Transactions and Notifications」という論文が公開されました。GoogleはこれまでMapReduceにて大規模な処理を扱っていましたが、常にデータ全体に対して行わなければならず、小さな更新をたくさん行うような処理には向いていません。これに対し、Web検索エンジンのようにクローラがWebページを取得するたびに逐次的に処理を行い、短い間隔で検索インデックスの更新を可能にしたシステム「Percolator」を構築しました。論文ではPercolatorの概要やアーキテクチャ、導入による効果検証について書かれています。 Percolatorの特徴は、ペタバイト級のリポジトリに対してランダムアクセスが可能な点です。また、利用者側がリ
Google: A Study in Scalability, MapReduce Evolution
Krishna Sankar has a ☞ great summary of a recent talk of Google’s Jeff Dean on Google’s systems and infrastructure: An interesting set of statistics of MapReduce over time: MapReduce at Google, now at 4 million jobs; processing ~1000 PB with 130 PB intermediate data and 45 PB outputData has doubled while the number of machines have been constant from ‘07 to ‘10.Machine usage has quadrupled while t
)
Running Hadoop On Ubuntu Linux (Multi-Node Cluster) - Michael G. Noll
What we want to do In this tutorial, I will describe the required steps for setting up a multi-node Hadoop cluster using the Hadoop Distributed File System (HDFS) on Ubuntu Linux. Hadoop is a framework written in Java for running applications on large clusters of commodity hardware and incorporates features similar to those of the Google File System and of MapReduce. HDFS is a highly fault-tolera
リアルタイムなHadoop？ 「Real-Time MapReduce」を実現するS4、オープンソースとしてYahoo!が公開 － Publickey
米Yahoo!は、大規模データの分散処理を実現するMapReduceをリアルタイムに行うソフトウェア「S4」を、オープンソースとして公開しました。 MapReduceを実行するソフトウェアとして、オープンソースの「Hadoop」がありますが、Hadoopはあらかじめジョブを定義して投入するバッチ処理を前提としていました。 S4は、データをキーとバリューのペアで構成されるストリームデータとして非同期に受け取ることができ、処理結果もキーバリューのペアで構成されたストリームデータとして出力するようになっているとのこと。 この非同期なストリームデータによる入出力が、リアルタイムなMapReduceを実現するフレームワークとしてのS4の特徴といえます。 リアルタイムなMapReduceで何ができる？ リアルタイムなMapReduceにはどのような用途が考えられるのでしょうか？ S4の公開を表明したY
グーグル、分散処理のためにデザインされた言語「Sawzall」をオープンソースで公開
グーグルは、同社内でパラレルデータ処理に利用している言語「Sawzall」を、「Szl」というプロジェクト名のオープンソースとして公開しました。 書籍「Googleを支える技術」によると、Sawzallは分散処理のためにデザインされたDSL（Domain Specific Language）で、特定の用途に限っては非常に容易に処理を記述できるようになっているインタープリタ型のプログラミング言語。GFS（Google File System）とMapReduceを基盤とし、MapReduceをより簡単に実行できるものと説明されています。 なぜSawzallはオープンソースとして公開されたのか？ グーグルは2003年8月に、論文「Interpreting the Data: Parallel Analysis with Sawzall」を発表し、これによってSawzallという言語がグーグルに
Sector/Sphere: High Performance Distributed Data Storage and Processing
High Performance Distributed File System and Parallel Data Processing Engine Sector/Sphere supports distributed data storage, distribution, and processing over large clusters of commodity computers, either within a data center or across multiple data centers. Sector is a high performance, scalable, and secure distributed file system. Sphere is a high performance parallel data processing engine tha
Mapreduce & Hadoop Algorithms in Academic Papers (3rd update) | atbrox
Mapreduce & Hadoop Algorithms in Academic Papers (3rd update) Atbrox is startup company providing technology and services for Search and Mapreduce/Hadoop. Our background is from Google, IBM and research. Contact us if you need help with algorithms for mapreduce This posting is the May 2010 update to the similar posting from February 2010, with 30 new papers compared to the prior posting, new ones
MapReduce: A major step backwards - The Database Column
By David DeWitt on January 17, 2008 4:20 PM | Permalink | Comments (43) | TrackBacks (1) [Note: Although the system attributes this post to a single author, it was written by David J. DeWitt and Michael Stonebraker] On January 8, a Database Column reader asked for our views on new distributed database research efforts, and we'll begin here with our views on MapReduce. This is a good time to discus
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.umiacs.umd.edu/~jimmylin/cloud-2008-Fall/Session5.ppt
Aster Data Introduces Free, Downloadable MapReduce Development Environment to Ease Development of Rich Analytic Applications Develop Advanced SQL-MapReduce Analytic Applications in Less Than an Hour With Downloadable Aster Data Developer Express Visual ID
Hadoop＋Hive検証環境を構築してみる
Big Data Platform - Amazon EMR - AWS
流行りのクラウドサービスを操ってみよう！Amazon EC2/S3環境構築のすべて一覧
Google基盤ソフトウェアのオープンソースクローンを使ってみる一覧
Registered & Protected by MarkMonitor
構成的アルゴリズム論 | CiNii Research
http://iskm.org/blog/archives/Amazon_EC2_Hadoop-2.pdf