「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
Hadoopの時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜHadoopの時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私はHadoopを中心としたデータ基盤を取り扱うベンダー、Clouderaの社員です。 中立的に書くよう努めますが、所属組織によって発生するバイアスの完全な排除を保証することはできません。 以上をご了承の上、読み進めてください。 要約 データ基盤は、Hadoopの登場により非常に安価となり、今まででは不可能だった大量のデータを取り扱えるようになりました。 Hadoopは、NoSQLブームの中、処理エンジンであるMapReduceとストレージであるHDFSが
「Hadoopは低遅延に向かう」、米クラウデラのアワダラーCTO
「SQLを使ったクエリー処理を低遅延で実行できる『Impala』を、2013年に『Hadoop』のディストリビューションに追加する」――。Hadoopのディストリビューションを販売する米クラウデラのアメル・アワダラーCTO（最高技術責任者、写真）は2012年11月7日、東京都内で開催した「Cloudera World Tokyo」で講演し、同社の製品ロードマップなどについて解説した。 Cloudera World Tokyoは、クラウデラが日本で初めて開催する自社カンファレンスである。米本社の共同創業者でありCTOを務めるアワダラー氏が基調講演に立った。クラウデラは2013年に、Hadoopディストリビューション「Cloudera’s Distribution including Apache Hadoop（CDH）」の次期バージョン「CDH 5」をリリースする予定。CDH 5には、SQL
業務系処理の分散処理の実行基盤について(Asakusa0.2.6) - 急がば回れ、選ぶなら近道
Asakusa supports for the multi-clusterというお話で、多分解説がいるので書いておく。公式に書くものではない、という意見も強いので、ここで書く。先日のSIGMOD日本支部のMtgでも発表した内容ともかぶりますが。 具体的にはここで http://asakusafw.s3.amazonaws.com/documents/0.2/release/ja/html/yaess/multi-dispatch.html いろいろ細かい内容は以下を参照で。 「AsakusaFW0.2.6の見どころ」 http://blog.goo.ne.jp/hishidama/e/2ba82d5ad404000de52d1a4029eb7346 まず、前提として現在のAsakusaは業務処理のバッチ処理、特に非同期処理を対象している。その上で実際に使われているし、SIも行われている。
「tagomorisが騙る はじめてのHadoop」 - たごもりすメモ
深夜に「はじめてのHadoop」が出版されるとしたら欲しいネタの一覧をなんとなく考えてた。Hadoopクラスタのセットアップを新規にやるのが予定にあるので、それも含めてトピックだけ書き出しておこうかなと思った次第。 「初めてのHadoop」ちょっと考えてたが、例えば最初に考えるべきHDFSのblock sizeとかで、でもそれノード数とMR処理データ量の最大/平均サイズと、データ投入時の圧縮、そういうことをちゃんと考えないと決まらないんだよね、そういうことを書いてる本がないよね、みたいな 2012-05-08 01:13:11 via TweetDeck 設計 HDFS総容量と処理対象のデータ量について ファイルの形式について (TextFile/SequenceFile/RCFile) データの圧縮について ノードあたりのHDD台数、ディスクの選択 CPUおよびメモリの選択 ノード数 H
Special Interview Hadoopの生みの親は語る、「まずは“生”の情報をすべて格納せよ」 - Computerworld
日本でも大量の非定形データなどの処理に有効なソリューションとして注目されるようになったApache Hadoop。その生みの親であり、名付け親でもある米国クラウデラ チーフ アーキテクトのダグ・カッティング(Doug Cutting)氏が、2011年9月1日に開催2日目を迎えた「Cloud Computing World Tokyo 2011」＆「Next Generation Data Center 2011」（主催：CIO Magazine/Online、Computerworld）の基調講演のために来日した。手には謎のぬいぐるみ。まずは、その理由に迫った。 interview ＆ text◎CIO Magazine編集部 名付け親は当時2歳の息子？ ── 基調講演の後に来場者からの記念撮影の要望に応えていましたが、そこでもそのぬいぐるみをお持ちでしたよね。 このぬいぐるみは、もとも
Inside of Asakusa DSL
Project Tungsten Bringing Spark Closer to Bare Meta （Hadoop / Spark Conferenc... Hadoop / Spark Conference Japan 2016 キーノート講演資料 『Project Tungsten Bringing Spark Closer to Bare Metal』 Reynold Xin (databricks) ▼イベントページ http://hadoop.apache.jp/hcj2016-program/ http://hcj2016.eventbrite.com/
Hadoop
The document discusses setting up Hadoop on a multi-node cluster. It goes through steps such as installing Java, downloading and extracting Hadoop, configuring nodes, formatting the HDFS, and starting processes on all nodes. Commands are shown to check the Hadoop version, run examples, and view logs.Read less
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Adobe が Hadoop のための Puppet レシピをリリース
http://news.tokyo.wakhok.ac.jp/x/modules/tinyd1/content/newtech2007/Amazon_EC2_Hadoop-2/siframes.html
http://tech.kuangue.sunnyday.jp/?eid=456680