Hadoopの活用事例をご紹介します。｜大量データのバッチ処理時間短縮はHadoop(ハドゥープ)技術で。検索の高速化 大手書店様で500万件の商品データから検索を行う際に、 数10秒から数分かかっていたものがhadoopでインデックスを作ることにより 1～2秒で検索ができるようになった事例 ・検索用Index生成検証テスト 2KB/件のデータのindexを生成したときにかかる時間 ※カッコ無しは実測値、カッコ内は推定値 既存のシステムでは、数十万件の差分index生成とコピーで6時間かかっていたものが、 1500万件のフルインデックスで93.8分まで短縮された。 きれいなindexを作ることで検索も高速化され、サーバの台数を増やすことで処理時間はさらに短縮される。 ブログデータ処理 テレビ局の関連会社からの依頼でインターネット上の19種類のブログ をクローリングした後のデータ加工をHadoopで行った事例 増え続けるデータ拡張へのストレージとしての対応、検索の高速化 Logデー
