Hadoop World 2011でClouderaの人が発表した資料を見つけたのではっておく。 Hadoop Troubleshooting 101 - Kate Ting - Cloudera View more presentations from Cloudera, Inc. Clouderaのサポートチームの極意が詰め込まれているようだ。 内容的にはHadoop徹底入門の10章の「性能向上のためのチューニング」と若干かぶっているが参考になります。 io.sort.mb < mapred.child.java.opts とすることとか(ていうかmapred.child.java.optsを増やすことはあるかもしれないがio.sort.mbっていじるもんなのかな)、プロセス数やファイルディスクリプタいじれとか、map出力のスレッドいじれとか、Jetty 6.1.26は使うなとか、盛り
次世代Hadoopの特徴は、 MapReduce 2とGiraph Hadoopの父に聞く、HadoopとClouderaの現在・未来 有限会社オングス 後藤 大地 2011/9/15 ■ 増え続けるHadoop活用企業 大規模データの分析に、Javaのフレームワーク「Apache Hadoop」(以下、Hadoop)を採用する事例が増えている。HadoopはMapReduceの実装系の1つで、特にログデータ解析やリサーチ目的の大規模データ分析や計算などに活用されている。TwitterやFacebook、mixi、LinkedIn、Groupon、Amazon、eBay、Yahoo!、楽天、クックパッド、リクルート、ディー・エヌ・エー、サイバーエージェントなどのいわゆるWebサービス系企業だけでなく、NTTデータ、Amazon Web Services、国立国会図書館、EMC、PFI、ウル
日本でも大量の非定形データなどの処理に有効なソリューションとして注目されるようになったApache Hadoop。その生みの親であり、名付け親でもある米国クラウデラ チーフ アーキテクトのダグ・カッティング(Doug Cutting)氏が、2011年9月1日に開催2日目を迎えた「Cloud Computing World Tokyo 2011」&「Next Generation Data Center 2011」(主催:CIO Magazine/Online、Computerworld)の基調講演のために来日した。手には謎のぬいぐるみ。まずは、その理由に迫った。 interview & text◎CIO Magazine編集部 名付け親は当時2歳の息子? ── 基調講演の後に来場者からの記念撮影の要望に応えていましたが、そこでもそのぬいぐるみをお持ちでしたよね。 このぬいぐるみは、もとも
With a community of over 500 contributors, Apache Hadoop and related projects are evolving at an ever increasing rate. Join the co-creator of Apache Hadoop, Doug Cutting, and Cloudera’s Chief Scientist, Jeff Hammerbacher, for a discussion of the most exciting new features being developed by the Apache Hadoop community.
Clouderaカンファレンスということで,Hadoopの生みの親Doug Cutting氏の講演会に参加しました.Cloudera カンファレンス Doug Cutting 講演会(仮) on ZusaarHadoopの名づけ元となった象のぬいぐるみもいました! 意外と細いんですね〜 The Future of Hadoop Context Data: 1.8ZB in 2011 Hadoop: Solution for Big Data HDFS and MapReduce: Hadoop Core Hive, Pig, Hbase, Mahout, and many components.. Dependency between components is big problem! Bigtop: package manager of Hadoop Apache Bigtop Big
一応感想というかメモ書き ・DougはApacheのChairmanであり、ポジション的には Clouderaのビジネスを語る立場ではないので、 普通にテクノロジーとして意見を聞くべき ・ビジネス的には仮にC社が買収されたとして 本家がApacheで保護されているので大ジョブというスタンス (この辺は割り引いた方がよいとは思うが) ・ということはスペックリーダーはClouderaではなく Apache本家とみた方が妥当。新規の開発はほぼApache中心で Clouderaはパッケージ担当に近い。万が一に備えて エンジニアも心情的にはそっちに振っているとみた。 ・ApacheHadoopは「インフラ的な役回り」に行こうとしてる。 YARNやMapReduce2.0を見ればわかる通り、 ResourceManagerのワードが山ほど出てくる。 これは「ノード処理はすべて引き受ける」という風に見
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く