5日間の処理を1時間に短縮 DWHからHadoop移行で成功事例、欧州広告企業 − ＠IT

2010/03/15 大規模サービスを展開するWeb企業から始まったHadoop利用だが、エンタープライズ分野でも少しずつ成功事例が出てきているようだ。Hadoopの商用パッケージとサポートに特化したベンチャー企業、米Clouderaの3月10日付ブログで、ヨーロッパでターゲティング広告事業を展開するnugg.adが成功事例を詳細に報告している。報告しているのはnugg.adのCTO、リチャード・フットン（Richard Hutton）氏。 nugg.adでは、2007年から2009年までの間、PostgreSQLをベースに古典的なデータウェアハウス（DWH）によるシステムを構築していたが、2009年6月から10月にかけてHadoopベースのシステムに移行。それまで5日かかっていたような処理が1時間にまで短縮し、計算処理の大幅時間短縮によって、これまで提供が考えられなかったような付加価値サ

[shiumachi]

"ヨーロッパでターゲティング広告事業を展開するnugg.adが成功事例を詳細に報告している"pigやclojureを使ってPostgreSQLから4ヶ月で移行完了。100GB/dayのログを処理

[zembutsu]

メリットは「管理・監視の容易さ、つい買いやすさ、ソフトウェア・ライセンス料が発生しないこと、システム拡張のコストはハードウェアのみであること」

[androidzaurus]

HadoopとClojure。100GBのログ解析に5日を1時間に。

[umitanuki]

DWHとHadoopはレイヤーの違う話ダロ

[ya--mada]

pfi

[matsuyuta]

Hadoopは必ずしもDWHがこなす処理のすべてを置き換えるべきものではなく、構造化されたデータであれば従来型のOLAPソリューションを使い、複雑な非構造化データの処理にHadoopのようなMapReduce系のソリューションを使うこと

[tomiyanx]

『DWHからHadoop移行で成功事例、欧州広告企業』 計36コア、8TBのディスク容量があるクラスタで処理し、5日の処理時間を1時間に短縮