Apache Hadoop YARN, NameNode HA, HDFS Federation
The document provides an introduction to YARN, HDFS federation, and HDFS high availability. It discusses limitations of the original MapReduce framework and HDFS, such as single points of failure. It then summarizes improvements in YARN including distributed resource management and the ability to run multiple applications. HDFS federation and high availability address scalability and reliability c
Hadoop YARNとApache Mesosの違いって何？ - 夢とガラクタの集積場
こんにちは。 CDH上でSparkがサポートされるという発表もあり、ニッチな領域をちょこちょこ調べていたはずが、 いきなりSparkがメジャーなステージに飛び出すのかなぁ・・と楽しみにしている今日この頃です。 ただ、CDH上でのSparkはリソースマネージャとしてHadoop YARNを使う模様。 Apache Mesosは使われないようです。 とはいえ、それ以前の問題として、Hadoop YARNとApache Mesosの違いがそもそもよくわかっていないという現状があります。 そのため、いい情報が無いかなぁ・・・と調べていたところ、丁度以下のスレッドが見つかりました。 How does YARN compare to Mesos? http://www.quora.com/How-does-YARN-compare-to-Mesos とりあえず、このスレッドに書かれている「差分」を訳し
Cloudera World Tokyo 2013に参加してきました #cwt2013 | DevelopersIO
Cloudera World Tokyo 2013に参加してきました。 http://www.cloudera.co.jp/jpevents/cwt2013/index.html 午前中は用事があったので午後からの参加となりました。参加したのは以下のセッションです。 13時30分〜14時10分 CDH最新情報 14時25分〜15時05分 Hadoopデータプラットフォーム 15時30分〜16時10分 SQLで実現するバッチ処理とストリーム処理 16時25分〜17時05分 Hadoopの運用 17時20分〜18時00分 Hadoop コミュニティと YARN の現状 ということで参加レポートですが、現時点でスライドが公開されていないものが大半だったので、各セッションに関して概要といいつつ詳細まで書いています。ここについてはスライドが公開されたタイミングで差し替えていく予定です。 CDH最新情
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
