「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
Hadoopの時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜHadoopの時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私はHadoopを中心としたデータ基盤を取り扱うベンダー、Clouderaの社員です。 中立的に書くよう努めますが、所属組織によって発生するバイアスの完全な排除を保証することはできません。 以上をご了承の上、読み進めてください。 要約 データ基盤は、Hadoopの登場により非常に安価となり、今まででは不可能だった大量のデータを取り扱えるようになりました。 Hadoopは、NoSQLブームの中、処理エンジンであるMapReduceとストレージであるHDFSが
Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita
「BigQueryは120億行を5秒でフルスキャン可能」は本当か？ 先日、kaheiさんがGoogle BigQuery（Googleクラウドの大規模クエリサービス）について、こんなエントリを書いていた。 とにかくパフォーマンスがすごい。（Fluentd Meetupでの）プレゼン中のデモで、ディスクに収められた5億件のデータをSQLでフルスキャンするのに3秒しかかからない。9億件のデータを正規表現を含んだSQLでスキャンしても、7秒で終わる（これ、記憶がちょっとあいまい。もう少しかかったかも）。これには驚いた。佐藤さんがGoogleに入社して一番驚いた技術が、一般公開される前のBigQueryだったと言っていたが、その気持ちはわかる。 From Fluentd Meetupに行ってきました これを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluent
Hadoopの派生関係 2013年度版
Hadoop distributions as of 20131231 from shingo furuyama 去年というか今年の初めに書いたものが割と評判がよかったので今年もやってみました。 Slideshareの仕様かなにかわかりませんが、透過しないはずのオブジェクトが透過される扱いになって絵が汚くなってしまったので、bmpをpptに張り付けるという最終的によくわからない方法でSlideshareに乗せることになってしまいましたが、遠目に見る分には問題なさそうなのでこれで。 文章そのものは去年というか今年の雰囲気だとあまり読まれていなかったようなので、今年も適当に各ディストリビューションについてあれしようかと思います。僕としてはなにを議論したいかというのはあまりなくて、今年というかHadoopを触っていたころに思っていたことをフラッシュしてる感じです。去年というか今年の初めはHado
Apache Drill ではクエリ処理はこんな風に行われる（Hadoop アドベントカレンダー 2013 16日目） - nagix
この記事は Hadoop アドベントカレンダー 2013の16日目の記事です。 Apache Drill 概要 Apache Drill は Google Dremel に触発されて開発されたオープンソースプロジェクトで、2012年8月に Apache Incubator として提案されました。大規模データに対し、バッチ処理ではなく、インタラクティブなクエリの実行を可能にするという意味では、ImpalaやStinger、Presto といったプロジェクトと同様の大きな目的を持っていますが、SQL 2003 完全準拠、パーサや処理実行部分を Pluggable にして幅広いクエリ言語やデータソースに対応、JSON/Avro のようなネストデータに対応、スキーマはオプショナルでスキーマレスなデータに対応、といったところなど、より柔軟で拡張性の高いフレームワークを目指しているのが他のプロジェクト
2013年 Hadoop 運用ログ @ Treasure Data | Post Moratorium
2013年 Hadoop 運用ログ @ Treasure Data Hadoop Advent Calendar 2013、5日目のエントリです。2日遅れてすいません！ 細かいのは上げればキリが無いんだけど、誰かの役に立てばと思い Treasure Data でHadoopクラスタを運用してみたログ 2013年度版を公開してみます。 対象バージョン2013年には、ディストリビューションのアップグレードを5回ほど行いました。 CDH3u0CDH3u1CDH4.1.2CDH4.2.0CDH4.2.1メジャーアップグレードは複数バージョンを同時に走らせて問題が無いことを確認後、切り替えを行っています。しかしCDH3って既にEnd of Maintenanceなんですね、知らなかった。 運用体制約3名、年末には約8名程。約100社に向けてサービス運用をしていて、数分ジョブが刺さるだけでもサポートチ
Hadoop Operations #cwt2013
#cwt2013 Clouderaの小林 @d1ce_ によるHadoop構築・運用のポイントについてのスライドを公開しました。2013年度版ハードウェア選定、HA構成の考え方から、実際にサポートで直面した事例についても紹介していますRead less
CDH5最新情報 #cwt2013
#cwt2013 Clouderaの水丸 @kmizumar によるCDH5の紹介スライドを公開しました。HBaseの障害復旧の高速化、HDFSのNFSサポートなどを紹介していますRead less
Hadoopデータプラットフォーム #cwt2013
#cwt2013 Clouderaの嶋内 @shiumachi によるビッグデータプラットフォームの構築・運用についてのスライドを公開しました。Hiveをどう扱うかという話から、チームサイズ別の運用方法まで紹介しています Read less
MapR～技術とかロードマップとか黒幕の本社CTOがいろいろ説明するわけよ。に参加してきました #maprcto | DevelopersIO
11/12（火）にMapR～技術とかロードマップとか黒幕の本社CTOがいろいろ説明するわけよ。に参加してきたので、その参加レポートを書きます。以下のように前半はスライドを元にMapRの説明、後半は質疑応答という構成でした。 18:15-19:00 MapR アーキテクチャ概要 19:00-20:00 質疑応答 一応、日本語による質問は可能だったんですが、質問者も半分ぐらいは英語で質問していことに加え、内容自体も高度であったため3割程度の理解度だったりします。ですので、その辺りは察していただけると助かります。なお、Srivasさんの英語は日本人向けにかなり聞きやすく話していてくれて気はします。恐らく。。 MapR アーキテクチャ概要 MapRのCTO兼FounderであるM. C. SrivasさんによるMapRの説明です。当然ですが英語です。ただし、スライドは翻訳されていたのでそこを手掛か
Cloudera Manager 5 (hadoop運用) #cwt2013
#cwt2013 Clouderaの嶋内 @shiumachi によるCloudera Manager 5のスライドを公開しました。統合的リソース管理機能、スナップショットなど、エンタープライズで必須の機能について紹介しています Read less
Facebook: ペタバイトのデータに対応した分散クエリエンジンをオープンソースで提供 - ワザノバ | wazanova.jp
https://www.facebook.com/notes/facebook-engineering/presto-interacting-with-petabytes-of-data-at-facebook/10151786197628920 Facebookがエンジニアブログで、ペタバイト級のデータを効率よくクエリするエンジンPrestoを紹介しています。 1) Background Facebookは世界有数の300ペタバイトのデータウェアハウスをもち、そのデータはバッチ処理、ソーシャルグラフ分析、機械学習、リアルタイムインタラクティブ分析など様々な用途に使われている。 そのデータは、いくつかの大きなHadoop/HDFSベースのクラスターにある。Hadoop/MapReduce/Hiveは、大規模で信頼性の高い計算処理、全体システムスループット最適化という特性がある。しかし、ペタ
Facebook、分散SQLエンジン「Presto」公開。大規模データをMapReduce/Hiveの10倍効率よく処理すると
Facebookは、数ペタバイト級の大規模データに対しても、対話的にアドホックな問い合わせを可能にする分散SQLエンジン「Presto」を、オープンソースで公開しました。 PrestoはFacebook社内で大規模データの分析のために開発され、すでに同社社内使われているもの。 FacebookはPrestoを開発した背景として、大量のデータをHadoop/HDFSベースで保存したものの、バッチ指向のMapReduceではなく、リアルタイム性に優れた処理が必要になったためだと、次のように説明しています。 Facebook’s warehouse data is stored in a few large Hadoop/HDFS-based clusters. Hadoop MapReduce [2] and Hive are designed for large-scale, reliabl
Spark shark
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC EnterpriseYusukeKuramata
Hadoop 第3版
象本の名前で親しまれる『Hadoop』の第3版の登場です。今回の改訂では、Hadoop 0.22系、2.x系の記述を大幅加筆。次世代Hadoopの特徴であるYARN（Hadoop 2.x系におけるジョブ実行フレームワーク）やMapReduce 2について詳述しました。Hadoop1.x（旧0.20）の情報もカバーしているので、これまでのバージョンを使う新旧のユーザに対応しています。第3版の日本語版付録として、Clouderaの小林大輔氏による「最新の高可用性HDFSの紹介」を掲載。Hadoopの基礎から応用までを網羅し、最新の情報をカバーした本書は、Hadoopに関心のあるすべての開発者必携の一冊です。 序 文 訳者まえがき はじめに 1章 Hadoop事始め 1.1 データ！ 1.2 データの保管と分析 1.3 他のシステムとの比較 1.3.1 リレーショナルデータベース管理システム 1
Hadoop初のメージャーバージョンアップ「Hadoop 2」正式版が公開。MapReduce以外の分散処理フレームワークも実行可能に
The Apache Software Foundationは、Hadoopの初めてのメジャーバージョンアップとなる「Apache Hadoop 2」の正式版公開を発表しました。 Hadoopは2004年にGoogleが公開したMapReduceに関する論文を元にオープンソースとして開発されたものでした。Hadoopの開発者であるダグ・カッティング氏は、Hadoop 2のプレスリリースで次のように発言しています。 "What started out a few years ago as a scalable batch processing system for Java programmers has now emerged as the kernel of the operating system for big data," said original Hadoop creator
Next Generation Hadoop - It's Not Just Batch!
Next Generation Hadoop - It's Not Just Batch! In my JavaOne talk today I presented changes that are happening in Hadoop, where it’s shaking off it’s batch-based shackles and enabling a new Hadoop platform that can support a mix of processing systems, from stream-processing systems to NoSQL systems. The slides for my talk can be viewed on Speaker Deck. The rest of this post is an overview of the te
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MapR アーキテクチャ概要 - MapR CTO Meetup 2013/11/12
TechCrunch | Startup and Technology News
https://docs.cloudera.com/documentation/enterprise/latest.html
Cloudera Standard のご案内 ~ 無償版 大幅機能強化のお知らせ | Cloudera Japan
