https://jp.techcrunch.com/2015/06/23/20150622hadoop-standardization-is-essential-for-industry-growth/
Spark が次のビッグデータの主役、という主張についての疑問
Sho Shimauchi @shiumachi "Sparkは、ビッグデータ処理ソフトの定番「Hadoop」に続く、次なるビッグデータ処理の主役に目され始めている" ちょっと私の理解と違うかなあ itpro.nikkeibp.co.jp/atcl/column/15… Sho Shimauchi @shiumachi SparkはHadoopと比較するのではなく、 MapReduceと比較するものだと思っている。 バッチ処理(MapReduce)や、SQL (Impala/Presto/Drill)、全文検索(Solr/Elasticsearch)等に並ぶ新しい分散処理がSparkという認識 Sho Shimauchi @shiumachi そもそもHadoopは何か。HDFS(分散ストレージ)+MapReduce(分散バッチ処理)だけの時代はこのまま覚えていればよかった。しかし、Map
フリーのVM環境を使って、ビッグデータ分析の学習環境をすばやく構築する
はじめに Hadoopを使って大規模データを蓄積し分析するのは、もはや当たり前になってきた昨今ですが、大規模データ分析の環境を試すのは、なかなか難しいというのが現状です。確かに、Hadoop単体やSQLエンジン単体なら、Amazon EMRやGoogle BigQueryなどを使うことで体験することは可能でしょう。しかし、大規模データの分析基盤では以下のようなことを行っていく必要があります。 RDBMSからデータをHadoopにインポートする SQLを使って、大規模データを高速に分析する アクセスログなどの大量の非構造化データを分析する 大量のデータに対し、リコメンドに利用するための高度な分析処理を行う 大量のデータを全文検索できるようにする これらすべてを試す環境を構築するのは、たとえクラウド環境を使ったとしても困難です。また、（検証環境としては）意外と高額な費用がかかってしまい、永続化
%25E6%258A%2580%25E8%25A1%2593)
Treasure Dataを支える(中の人に必要な)技術 - myui's memo
Treasure Data（以下、TD）に入社して早2週間が経ちました。 入社してから、平成14年度IPA未踏ユース第1期で同期でスーパークリエイタであった西田さんがTDで働いているのを知りました。MapReduceやHadoopが登場した頃、「Googleを支える技術」という技術書*1でお世話になったのですが、いつの間にかTreasure Dataを支える人になっていたんですね*2。 Googleを支える技術 ?巨大システムの内側の世界 (WEB+DB PRESSプラスシリーズ) 作者: 西田圭介出版社/メーカー: 技術評論社発売日: 2008/03/28メディア: 単行本（ソフトカバー）購入: 47人 クリック: 1,166回この商品を含むブログ (374件) を見る TDではおかげさまで結構なペースでお客さんが増えていて事業規模拡大に備えて幅広い職種で人材募集中です。今回はTDのバッ
［速報］「Greenplum Database」がオープンソースに。DWH向けMPPデータベース。Pivotalが発表
Pivotalは2月17日（日本時間2月18日午前4時）にオンラインイベントを開催。同社が提供するビッグデータ関連の3つのソフトウェア「GemFire」「HAWQ」「Greenplum Database」をオープンソースにすると発表しました。 GemFireはインメモリデータベース、HAWQはHadoop上でSQLのクエリを実行できるソフトウェア。 もっとも注目されるのがGreenplum Databaseです。これはもともとEMCが買収したデータウェアハウス向けのデータベースで、その後VMwareからスピンアウトしたPivotalのラインナップに移管されました。 Greenplum Databaseは多数のマシンに分散させたデータをシェアドナッシングのアーキテクチャにより大規模並列分散処理することで、ペタバイトクラスにまでスケールアウト可能な高性能データベースとされています。 Pivot
Hadoopの「開発企業」へと進み始めたNTTデータ
オープンソースソフトウエア（OSS）の分散データ処理ソフト「Hadoop」を使ったシステム構築やサポートの事業を手がけるNTTデータ。そんな同社が現在、Hadoopのサポート企業から「開発企業」へと変わり始めている。Hadoopのソースコード開発に関する貢献を増やし、Hadoopの「コミッター」を自社から輩出することを目指す。 「Hadoopの開発そのものに、今まで以上に足を突っ込むことに覚悟を決めた」。NTTデータの濱野賢一朗氏は、同社のHadoopに関するスタンスをこのように表現する。NTTデータは2010年7月から、Hadoopを使ったシステム構築・運用支援サービスを手がけている。NTTデータは当初、Hadoopのディストリビューション（検証済みパッケージ）のベンダーである米クラウデラと提携し、サポートを提供していた。例えば、ユーザー企業からHadoopに関するバグ修正などの要望が生
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
運用を楽にするためのアプリケーションコードを書くということ : sonots:blog
