グーグル発「Hadoop」、日本企業も利用へ
Hadoopは、グーグルが検索エンジン用に開発したバッチ処理システムを基に開発された、オープンソースソフトだ。グーグルが開発した分散ファイルシステム「Google File System（GFS）」を模した「Hadoop Distributed File System（HD FS）」と、データ処理機構「MapReduce」を模した「Hadoop MapReduce」で構成する。 米国では米VISAや米JPモルガン・チェースのような大手金融機関が、バッチ処理にHadoopを使用する。 そのHadoopがいよいよ、日本企業でも使われ始めた。例えば楽天は、ある商品に対するお薦め商品をリストアップする「レコメンド処理」にHadoopを使用する。NTTデータは、全国の渋滞情報をリアルタイムに可視化するシステムの構築にHadoopを採用した。三菱UFJインフォメーションテクノロジーもHadoopを使っ
Hadoop WorldでClouderaと提携したNTTデータが目指すもの。Hadoop World: NYC 2010
Hadoop WorldでClouderaと提携したNTTデータが目指すもの。Hadoop World: NYC 2010 先週10月12日に、ニューヨークでHadoopのイベント「Hadoop World: NYC 2010」が開催されました。参加者は900名を超えたともいわれ、日本からも30名程度が参加しました。 イベントを主催するClouderaは、Hadoopを開発したDoug Cutting氏らが所属しており、Hadoopの商用利用におけるリーダー的な存在です。そしてこのイベントでClouderaはNTTデータとの提携を発表。両社でアジア太平洋地域と日本でのHadoopビジネスを積極展開することを明らかにしています。 Clouderaとの提携を受け、NTTデータ代表取締役常務執行役員 ソリューション＆テクノロジーカンパニー長 CTO 山田伸一氏がHadoop Worldで講演。そ
NTTデータがHadoopビジネスを拡大、米クラウデラと提携
NTTデータは、オープンソースの分散バッチ処理ソフト「Hadoop」専業のベンチャー企業である米クラウデラと提携し、クラウデラの開発するHadoop関連製品を、日本を含むアジア太平洋地域で販売する。2010年10月12日（米国時間）に米国ニューヨークで開催される「Hadoop World 2010」で、NTTデータの山田伸一常務が発表する。両社は共同で、Hadoopのサポートや研修サービスなども展開する。 Hadoopは、分散処理システムを構築するためのミドルウエア。グーグルがWeb検索エンジンのインデックスを作成するために独自開発した分散バッチ処理ソフト「MapReduce」と、分散ファイルシステムの「Google File System（GFS）」を基にして作られた。プログラマはHadoopを使うことで、データをノードに分散したり集約したりするネットワーク処理機構を、独自に開発する必要
グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作
「数兆件のデータも対話的に、高速に分析できる」。グーグルは5月19日にこのような表現で新しいサービス「BigQuery」の登場を紹介するエントリを、ブログにポストしています。 グーグルが公開したBigQueryは、Hadoopやデータウェアハウスなどを用いて多くの企業が行おうとしている大規模データ（いわゆる「Big Data」）の分析を、グーグルのクラウドで可能にします。利用者はGoogle Storage経由で大規模データを転送し、SQLライクな命令によって抽出や分析を行います。 まるでグーグルが大規模データ処理のMapReduceをホスティングし、その機能をサービスとして提供するようなものがBigQueryといえます（ただし公開された「BigQuery」の説明には、内部でMapReduceを利用しているのかどうかの記述はないのため、MapReduce「的」なサービスと表現すべきかもしれ
5日間の処理を1時間に短縮 DWHからHadoop移行で成功事例、欧州広告企業 − ＠IT
2010/03/15 大規模サービスを展開するWeb企業から始まったHadoop利用だが、エンタープライズ分野でも少しずつ成功事例が出てきているようだ。Hadoopの商用パッケージとサポートに特化したベンチャー企業、米Clouderaの3月10日付ブログで、ヨーロッパでターゲティング広告事業を展開するnugg.adが成功事例を詳細に報告している。報告しているのはnugg.adのCTO、リチャード・フットン（Richard Hutton）氏。 nugg.adでは、2007年から2009年までの間、PostgreSQLをベースに古典的なデータウェアハウス（DWH）によるシステムを構築していたが、2009年6月から10月にかけてHadoopベースのシステムに移行。それまで5日かかっていたような処理が1時間にまで短縮し、計算処理の大幅時間短縮によって、これまで提供が考えられなかったような付加価値サ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
