「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
Hadoopの時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜHadoopの時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私はHadoopを中心としたデータ基盤を取り扱うベンダー、Clouderaの社員です。 中立的に書くよう努めますが、所属組織によって発生するバイアスの完全な排除を保証することはできません。 以上をご了承の上、読み進めてください。 要約 データ基盤は、Hadoopの登場により非常に安価となり、今まででは不可能だった大量のデータを取り扱えるようになりました。 Hadoopは、NoSQLブームの中、処理エンジンであるMapReduceとストレージであるHDFSが
「Hadoopは低遅延に向かう」、米クラウデラのアワダラーCTO
「SQLを使ったクエリー処理を低遅延で実行できる『Impala』を、2013年に『Hadoop』のディストリビューションに追加する」――。Hadoopのディストリビューションを販売する米クラウデラのアメル・アワダラーCTO（最高技術責任者、写真）は2012年11月7日、東京都内で開催した「Cloudera World Tokyo」で講演し、同社の製品ロードマップなどについて解説した。 Cloudera World Tokyoは、クラウデラが日本で初めて開催する自社カンファレンスである。米本社の共同創業者でありCTOを務めるアワダラー氏が基調講演に立った。クラウデラは2013年に、Hadoopディストリビューション「Cloudera’s Distribution including Apache Hadoop（CDH）」の次期バージョン「CDH 5」をリリースする予定。CDH 5には、SQL
業務系処理の分散処理の実行基盤について(Asakusa0.2.6) - 急がば回れ、選ぶなら近道
Asakusa supports for the multi-clusterというお話で、多分解説がいるので書いておく。公式に書くものではない、という意見も強いので、ここで書く。先日のSIGMOD日本支部のMtgでも発表した内容ともかぶりますが。 具体的にはここで http://asakusafw.s3.amazonaws.com/documents/0.2/release/ja/html/yaess/multi-dispatch.html いろいろ細かい内容は以下を参照で。 「AsakusaFW0.2.6の見どころ」 http://blog.goo.ne.jp/hishidama/e/2ba82d5ad404000de52d1a4029eb7346 まず、前提として現在のAsakusaは業務処理のバッチ処理、特に非同期処理を対象している。その上で実際に使われているし、SIも行われている。
「tagomorisが騙る はじめてのHadoop」 - たごもりすメモ
深夜に「はじめてのHadoop」が出版されるとしたら欲しいネタの一覧をなんとなく考えてた。Hadoopクラスタのセットアップを新規にやるのが予定にあるので、それも含めてトピックだけ書き出しておこうかなと思った次第。 「初めてのHadoop」ちょっと考えてたが、例えば最初に考えるべきHDFSのblock sizeとかで、でもそれノード数とMR処理データ量の最大/平均サイズと、データ投入時の圧縮、そういうことをちゃんと考えないと決まらないんだよね、そういうことを書いてる本がないよね、みたいな 2012-05-08 01:13:11 via TweetDeck 設計 HDFS総容量と処理対象のデータ量について ファイルの形式について (TextFile/SequenceFile/RCFile) データの圧縮について ノードあたりのHDD台数、ディスクの選択 CPUおよびメモリの選択 ノード数 H
Special Interview Hadoopの生みの親は語る、「まずは“生”の情報をすべて格納せよ」 - Computerworld
日本でも大量の非定形データなどの処理に有効なソリューションとして注目されるようになったApache Hadoop。その生みの親であり、名付け親でもある米国クラウデラ チーフ アーキテクトのダグ・カッティング(Doug Cutting)氏が、2011年9月1日に開催2日目を迎えた「Cloud Computing World Tokyo 2011」＆「Next Generation Data Center 2011」（主催：CIO Magazine/Online、Computerworld）の基調講演のために来日した。手には謎のぬいぐるみ。まずは、その理由に迫った。 interview ＆ text◎CIO Magazine編集部 名付け親は当時2歳の息子？ ── 基調講演の後に来場者からの記念撮影の要望に応えていましたが、そこでもそのぬいぐるみをお持ちでしたよね。 このぬいぐるみは、もとも
Inside of Asakusa DSL
2. 講演者について 荒川 傑 (@ashigeru) Ashigel Compilerの中の人 Asakusa DSLのデザンも担当 株式会社グルージェント開発部所属 2010年9月より出向中 普段の仕事 研究: コンパラ、開発環境 調査: Google App Engineなど 教育: 授業設計、教材開発 Asakusa DSLの内部 2 3. 本日のテーマ 第一部: Asakusa DSLの設計思想 どんな言語か、何を考えて作ったのか 第二部: Asakusa DSLのセマンテゖクス Hadoopとどのように関連するか 第三部: コンパラのコード生成 どのようなコードを生成しているか 第四部: コンパラの最適化手法 どのような最適化があるか Asakusa DSLの内部 3 4. 本日の内容 触れること DSLの位置づけ
Hadoop
13. $ env | grep JAVA JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/CurrentJDK/Home $ java -version java -versionjava version quot;1.5.0_07quot;Java(TM) 2 Runtime Environment, Standard Edition (build 1.5.0_07-154)Java HotSpot(TM) Client VM (build 1.5.0_07-87, mixed mode, sharing) $ curl -O http://www.apache.org/dist/lucene/hadoop/stable/hadoop-0.13.0.tar.gz $ tar zxvf hadoop-0.13.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Adobe が Hadoop のための Puppet レシピをリリース
http://news.tokyo.wakhok.ac.jp/x/modules/tinyd1/content/newtech2007/Amazon_EC2_Hadoop-2/siframes.html
http://tech.kuangue.sunnyday.jp/?eid=456680