［前編］ビジネス貢献に歩み出したHadoop
オープンソースソフトウエア（OSS）の分散バッチ処理ソフト「Hadoop」を利用する企業が相次いでいる。2011年11月に米国で開催されたカンファレンス「Hadoop World NYC」では、米JPモルガン・チェースなどの最新事例が登場した。前編では本会議で明らかにされた活用動向を紹介し、後編では主にベンダー側の動向を報告する。 2011年11月8日から2日間にわたり、「Hadoop World NYC 2011」が米国ニューヨークで開催された。3回めの開催となる今回は、27カ国から1400人を超えるITマネジャーや開発者などが集まった（写真1）。 Hadoop Worldは東海岸で開催されるだけあってビジネス色が強く、最新事例や提携の発表が多い（表1）。主催は、Hadoop専業であり、Hadoopの生みの親ダグ・カッティング氏が所属する米クラウデラ。今回のスポンサーには、Hadoop関
"BigData"では何が問題なのか？ - 急がば回れ、選ぶなら近道
”ビッグデータで奇跡が起こる” はいどうも。まず、個人的には楽天的な進歩史観には、まったく組しない。 従って、突然に新技術ができて、なんか凄い事になる、というのはさらにまったく同意しない。すべからくブレイクスルーは課題解決により起こると思っているので、問題意識のないところに、こんなものできました的な発想は、基本的にプラスにならないことが多いと思っている。現状のビッグデータブームは2011年の秋口現在は完全にハイプになっており、バブルと言ってもいいと思う。印象として、十数年前のナノテク・ブームに似ている。 とはいえ、過度の期待という側面を除けば、それなり効果もある部分もあり、”そこだけ”を見ていけばそれなりに効果はある（と思う）。大体において、今後は以下の二つのユースケース・カテゴリーに集約されると思う。すなわち、ビッグデータの拠り所はまずもって以下の２点だ。 1 Webのログ解析 というか
国立情報学研究所 佐藤教授が語る「クラウドコンピューティングの将来動向」（ビッグデータ編）
8月31日から2日間、都内で行われたイベント「Cloud Computing World Tokyo 2011」。そのイベントへの申し込み段階で最初に満員となったのが、国立情報学研究所 佐藤一郎教授のセッション「クラウドコンピューティングの将来動向」でした。 技術的な背景に基づき、ビッグデータ活用に必要な条件とは何か、クラウドのビジネスモデルはどうなるのか、データセンターの進化の方向性、などについて具体的な解説が行われています。 この記事では、そのセッションの内容を紹介しましょう。 ビッグデータ流行の背景となったMapReduce/Hadoop 国立情報学研究所 アーキテクチャ科学 研究系 教授 佐藤 一郎氏。 分散システムの研究者から見た、クラウドのインフラの話、10年先の話をしようと思います。 1つ目はビッグデータの話題。 ビッグデータの処理技術「MapReduce/Hadoop」は、
クラウデラ、Hadoopディストリビューション最新版「CDH3」の一般提供を開始 - Computerworld
クラウデラ、Hadoopディストリビューション最新版「CDH3」の一般提供を開始 搭載ツールを大幅に拡充 米国Clouderaは4月12日、大量のデータに対応するオープンソース分散処理フレームワーク「Apache Hadoop」とその支援ツールを組み合わせたディストリビューションの最新版「CDH3」（Cloudera Distribution including Apache Hadoop v3）の一般提供を開始したと発表した。CDH3では支援ツールが大幅に拡充されている。 「ほとんどの組織はHadoopだけでなく、さまざまなツールもセットで導入している。現在実運用されているHadoopシステムは、Hadoopと多様なオープンソース・コンポーネントから構成されており、これら全体がエコシステムを形成している」と、Clouderaの製品担当副社長、チャールズ・ゼドルースキ（Charles Ze
Hadoop導入を容易にするClouderaの商用パッケージ、NTTデータが販売 | IT Leaders
2011/05/31 18:16 NTTデータは2011年6月2日、Hadoopの商用ディストリビューション「Cloudera's Distribution including Apache Hadoop v3（CDH3）」を提供開始する。パッケージには、Hadoopの導入を支援するソフトウエア群とサポート・サービスが含まれる。価格は、1ノードあたり年額25万円（税別）で、5ノード以上で販売する。CDH3は、米Clouderaが作成した、Hadoopの配布パッケージ。Hadoopを使ったアプリケーション開発で用いる代表的なオープン・ソース群を含むほか、インストール・パッケージ（RPM形式）の提供やGUIベースの独自の運用管理ソフトなど、Hadoopの導入や設定を簡単に行えるようにする仕組みを提供する。無償版に加えて、有償サポートを含む商用版を用意している。 NTTデータは今回、CDH3の商
米Cloudera、100％オープンソースの「Apache Hadoop」ベースディストリビューションをリリース | OSDN Magazine
米Clouderaは4月12日（米国時間）、Hadoopディストリビューション「Cloudera’s Distribution including Apache Hadoop v3（CDH3）」の一般提供を開始した。ClouderaのWebサイトより入手できる。 CDHは、大規模なデータ統合と分散コンピューティングのためのフレームワーク技術「Apache Hadoop」を中核とし、データ管理プラットフォームを統合したディストリビューション。事前検証・統合済みで、TwitterやGrouponなどの企業が導入しているという。ライセンスはApache License。 最新版では、前バージョンで統合していたデータウェアハウスのHive、データフローのPigなどに加え、Flume、Squoop、Hue、Zookeeper、HBaseなどのパッケージを新たに含み、標準APIにより全てのコンポーネン
Hadoopユーザー会が9月にカンファレンス、有力開発ベンダーが集結
オープンソースソフトウエア（OSS）の分散バッチ処理ソフト「Hadoop」のユーザー会であるHadoopユーザー会が2011年9月1日、ユーザー会議「Hadoop Conference Japan 2011 Fall」の募集を開始した（募集サイト）。開催は9月26日で、米Hortonworks、米Cloudera、米MapR Technologiesといった、Hadoop開発の有力ベンダーのCTO（最高技術責任者）などが登壇する。 Hadoopユーザー会によるカンファレンスは、これが3回目。今回はHadoopのユーザーであるリクルートが後援につき、1000人規模の会場を確保した。 米Yahoo!からHadoop開発チームが分離したHortonworksからは創業者のOwen O'Malley氏が、Hadoopのディストリビューションを販売するClouderaからは、HDFSなどのコミッター
TechCrunch | Startup and Technology News
TechCrunch Disrupt 2024 will be in San Francisco on October 28–30, and we’re already excited! This is the startup world’s main event, and it’s where you’ll find the knowledge, tools… As a part of a multi-part series, TechCrunch is highlighting women innovators — from academics to policymakers —in the field of AI.
Hadoopがスケール・アウトする仕組み
前回の記事では、Hadoopが膨大なデータをバッチ処理するための「インフラ」としての性質を備えていること、情報爆発時代の新たなインフラとして普及しつつあることを説明しました。その中で、情報爆発時代に必要とされるインフラは、「スケール・アウトが可能であること」という条件を備えていなければならないことを示しました。サーバーの台数を増やすことで容易にシステムの処理性能が増やせることは、Hadoopの重要な特徴です。今回は、Hadoopがどのようにしてスケール・アウトを可能にしているかを、「分散ファイル・システム」と「MapReduceフレームワーク」の2つの観点から解説します。 スケール・アウトとは？ コンピュータ・システムを新たに構築するときは、必ず「運用」のことを考えておく必要があります。システム・トラブルが発生した場合の対応策を決めたり、将来の仕様変更に備えてプログラムに拡張性を持たせたり
第2回クラウド勉強会 - sinkin' in the rain
第2回クラウド勉強会 2010-07-09の第2回クラウド勉強会を聞いてきました。主に自分のtweetをまとめておきます。 末尾にメモおよびtogetterまとめ作成者からのアナウンスがあります。技術評論社さんのUstに録画された動画があります。主催会社ブログに開催報告があります。アナウンス、会場について他 gihyojp: 本日19:20より，第2回クラウド勉強会（http://atnd.org/events/5767）を中継します。 ^KT (#cloudstudy live at http://ustre.am/epDx ) (19:03)tsubasamizuguch: サイブリッジ主催クラウド勉強会です RT @shinichi_saeki クラウド勉強会の座席が180名まで増えました！ キャンセル待ちの補欠者がいなくなり、空きもでてきましたので、是非ご参加ください。http:/
アマゾン、「Hadoop」を利用した「Amazon Elastic MapReduce」のベータサービスを開始
Amazonの子会社Amazon Web Services（AWS）は米国時間4月2日、オープンソースのソフトウェアフレームワーク「Hadoop」を利用して大量のデータ解析を行う、新たなクラウドコンピューティングのベータサービスを開始した。 「Amazon Elastic MapReduce」と呼ばれるこのサービスは、集中的なデータ処理を必要とする企業、研究者、アナリストを対象に開発された（発表資料）。HadoopはYahooなどの企業も採用しているが、Clouderaなどの新興企業はHadoopを企業データセンターとして利用するためのサービスを提供している。 Amazon Elastic MapReduceは、同社の「Elastic Compute Cloud」（EC2）および「Simple Storage Service」（S3）上でHadoopを稼働させる。顧客はAmazon Ela
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
English (US)
Good night, Posterous
Hadoopコミュニティに参加べき5つの理由 | 大規模計算ドットコム
【クラウド特捜部】 大規模データの分散処理を実現するHadoopはクラウドでこそ生きる？
http://agilecatcloud.com/2011/02/18/%E3%83%97%E3%83%AD%E3%82%B8%E3%82%A7%E3%82%AF%E3%83%88-piccolo-%E3%81%AF%E3%80%81%E3%82%B9%E3%83%94%E3%83%BC%E3%83%89%E3%81%A7-hadoop-%E3%82%92%E5%87%8C%E9%A7%95%E3%81%99%E3%82%8B-cloud-cloudcompu/