その分析、Hadoopなら速く安くできます
ビジネスデータを分析するビジネスインテリジェンス（BI）分野の新たなプラットフォームとして注目されているHadoop。Hadoopでは、どのようなデータ分析が可能なのでしょうか？ 現在、Hadoopビジネスの牽引役であるClouderaのJeff Hammerbracher氏が、Hadoopでデータ分析が可能なビジネス上の課題を示した「10 Common Hadoop-able problems」（Hadoop化可能な10の一般的課題）と題したプレゼンテーションを公開しています。 Hadoopにとって得意な処理とは、複雑で複数のデータソースからなる大量のデータの分析であり、それをバッチ処理の並列実行によって実現することです。 従来は、データがあまりに複雑だったり膨大だっために、計算時間やコストなどの理由で実現が難しかった処理でも、Hadoopによる低コスト化、計算時間の短縮、高い柔軟性など
Hadoop Hack Night Vol. 2
1. 技術評論社／ヤフー 共催 Hadoop Hack Night Vol. 2 2010年8月4日 新たな情報インフラとしての Hadoopの活用 株式会社リッテル 上席研究員 清田 陽司 (兼 東京大学情報基盤センター 学術情報研究部門 助教) Twitter: @kiyota_yoji 2. Hadoop活用の壁 • 実績がまだまだ少ない • ○○という機能がない • ファイルシステムとして備えるべき機能（アクセス権制 御など) • マスタサーバの多重化 • Hadoopってよくわからないんだけど • RDBMSとの違いは？ • どういう処理でメリットがあるの？ • Hadoopってクラウドなの？(←そもそもクラウドって何 よ？)
Hadoop Summit 2010 – Perspectives
Disclaimer: The opinions expressed here are my own and do not necessarily represent those of current or past employers. Recent CommentsRaffaele Santopaolo on David Patterson Retires After 40 YearsJames Hamilton on Seagate HAMRTom Davies on Seagate HAMRMatt on Seagate HAMRJames Hamilton on Seagate HAMRMatt on Seagate HAMRJames Hamilton on Cost of Power in Large-Scale Data CentersChris K. on Cost of
Hadoop World 2009 – some notes from application session | atbrox
Other recommended writeups : Hadoop World NYC (Hilary Mason) The View from HadoopWorld (Stephen O’Grady) Post Hadoop World Thoughts (Deepak Singh) Hadoop World, NYC 2009 (Dan Milstein) Hadoop World Impressions (Steve Laniel) — Location: Roosevelt Hotel, NYC 1235 Joe Cunningham – Visa – Large scale transaction analysis – responsible for Visa Technology Strategy and Innovation been playing with Hado
What Hadoop is good at
Hadoop is getting more popular these days. Lets look at what it is good at and what not. The Map/Reduce Programming model Map/Reduce offers a different programming model for handling concurrency than the traditional multi-thread model. Multi-thread programming model allows multiple processing units (with different execution logic) to access the shared set of data. To maintain data integrity, each
優良企業はなぜHadoopに走るのか
ちなみに、この分析のために必要とされるMapReduceのコードであるが、そのサイズはわずか20ステップだという。Yahoo!のプレゼンテーターである、エリック・バルデシュバイラー氏によると、たとえ経験の浅いエンジニアであっても、MapReduceによるプログラミングは可能であるとされる。 また、VISAのジョー・カニンガム氏からも、貴重なデータが提供されていたので以下に紹介する。同社では、1日に1億トランザクションが発生するため、2年間で700億強のトランザクションログが蓄積され、そのデータ量は36テラバイトに至るという。こうしたスケールのデータを、従来のRDBを用いて分析するには、約1カ月の時間が必要とされてきたが、Hadoopを用いることで13分に短縮されたという。 これまでは、Yahoo!にしろVISAにしろ、膨大なデータをRDBに押し込むほかに方法はなく、その分析に数十日を要する
Google社の基盤技術「MapReduce」についてエンジニアに聞く
Google社の基盤技術「MapReduce」についてエンジニアに聞く 米Google Inc. Christophe Bisciglia氏 米Google Inc.で大規模並列プログラミングの教育コース「Academic Cluster Computing Initiative（ACCI）」の立案者であるSenior Software EngineerのChristophe Bisciglia氏に，インタビューする機会を得た。Bisciglia氏は現在，中国・上海でサービスの開発に携わっている。 ――Googleのサービスを支える技術として，ACCIで教えているのは何か。 Christophe Bisciglia氏 並列処理のプログラミング/モデルである「MapReduce」と分散ファイル・システムである「GFS（Google File System）」だ。これらを実装した「Hadoop
クラウド用DB - HadoopDB - としの今日でき
0.概要 HadoopDB[1]は,普通のDMBSとMapReduceを組み合わせた分散DBMSシステムの試み。 分散して性能を稼ぐ目的より、ノードが故障したり性能劣化しても、クエリ性能を極力劣化させないシステムを目指す。 DBMSはPostgreSQLを使用しているが、MySQLも動作する(ようだ)。 性能評価は、分散DBMS(Vertica)とHadoopDBとHadoop+Hiveのベンチマークを比較している。 ノードの故障がない場合は、分散DBMS(Vertica)の性能が高い。 だいたい、Vertica ＞ HadoopDB ＞ Hadoop の順。 一部のノードが故障したり、性能低下した場合は、HadoopDBの性能が高い結果となり効果がある。 1ノードの故障で、クエリ応答時間は、Verticaは170%、HadoopDBは30%以下の性能劣化となった。 なお、この論文[1]の
GoogleのCloud Computingの秘密 27歳が指揮する次世代革命
Cloud Computingといえば、「あちら側」にあるコンピュータパワーを利用してさまざまな処理を行うこと。 一番分かりやすい具体例としては、グーグルの検索が挙げられるだろう。検索では、サーバはどこにあるかわからないが、インターネットの「雲」のどこかで演算され、検索結果を引き出して、目の前のウェブページに結果として表示される。 概念としてクラウド・コンピューティングを少し理解しても、現実に、グーグルがどのようにCloud Computingを推進しているのか、よく分からないというのが正直なところではないだろうか。 （一説には、グーグルの「雲」は100万台以上の安価なサーバで構成されているという） Business Weekのカバーストーリー"Google and the Wisdom of Clouds"は今のグーグルで起こっていることを、垣間見せてくれる好企画である。 （Busine
Hadoop World NYC 参加記 - moratorium
Hadoop World NYC 参加記 2009-10-07 (Wed) 10:03 Hadoop と言う訳でHadoop World NYC, 2009の参加記を書きます。 1日目はSystem Administrator用のトレーニングコースを受け、2日目がカンファレンス本番でした。トレーニングコースはDeveloper向け(3日間)とManager向けのビジネス寄りのコースが有り、合計で100人ぐらいは参加していたと思います。カンファレンスの本番自体は400～500人の参加でした。 まずSystem Adminコースですが、大体以下のような内容でした。 MapReduceの基本概念 ハードウェア/ネットワーク機器の選定ポイント OSやJavaなど、ソフトウェアでの注意点 Hadoop(Cloudera Distribution)のインストール方法 パラメーター/パフォーマンスチュー
Apache Hama - Big Data and High-Performance Computing
This project has retired. For details please refer to its Attic page. Apache HamaTM is a framework for Big Data analytics which uses the Bulk Synchronous Parallel (BSP) computing model, which was established in 2012 as a Top-Level Project of The Apache Software Foundation. It provides not only pure BSP programming model but also vertex and neuron centric programming models, inspired by Google's Pr
RubyでHadoopをラップ、分散処理ツールキットが登場 － ＠IT
2009/05/12 米新聞社大手のニューヨーク・タイムズは5月11日、Rubyによる大規模分散処理のツールキット「Map/Reduce Toolkit」（MRToolkit）をGPLv3の下にオープンソースで公開したと発表した。MRToolkitは、すでに稼働しているクラスタ上のHadoopと合わせて使うことでRubyで容易にMap/Reduce処理を記述することができる一種のラッパー。処理自体はHadoopが行う。すでにHadoopを使っているユーザーであれば、中小規模のプロジェクトに対して、すぐにMRToolkitを適用可能としている。 デフォルトで有用なMap、Reduceの処理モジュールが含まれていて、数行のRubyスクリプトを書くだけで、例えば膨大なApacheのログからIPアドレス別の閲覧履歴をまとめるといった処理が可能という。独自にMapやReduceの処理を定義することも
Hadoop Streaming - naoyaのはてなダイアリー
id:naoya:20080511:1210506301 のエントリのコメント欄で kzk さんに教えていただいた Hadoop Streaming を試しています。 Hadoop はオープンソースの MapReduce + 分散ファイルシステムです。Java で作られています。Yahoo! Inc のバックエンドや、Facebook、Amazon.com などでも利用されているとのことです。詳しくは http://codezine.jp/a/article/aid/2448.aspx (kzk さんによる連載記事)を参照してください。 Hadoop Streaming 記事にもあります通り、Hadoop 拡張の Hadoop Streaming を使うと標準入出力を介するプログラムを記述するだけで、Hadoop による MapReduce を利用することができます。つまり、Java 以外
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
POJO Mojo
Velocity 2010 – Perspectives
Executing scripts on a remote machine - Marigan's Weblog
http://atnd.org/events/1848
Hadoop buzz continues to excite the cloud - CNET
Cloud platforms of the future: Hadoop and Eucalyptus - CNET
Cloudera
