帝国データバンクが数十億件のテキストデータを30分で処理できるわけ - ホワイトペーパー [データマイニング／統計解析]

100年以上にわたり、企業信用調査に基づく情報を顧客に提供してきた帝国データバンク。同社では、160万社の信用調査報告書ファイル、68万社・440万期の企業財務データベース「COSMOS1」、142万社の企業概要をデータベース化した「COSMOS2」、410万社（内法人数300万社）のTDB企業コードなどに基づく経営情報を保有している。しかし近年では、インターネット上に発信される情報が企業経営に少なからず影響を及ぼすようになってきたことから、こうした情報を取り込んで既存の情報に付加価値を加えることが急務となっていた。 その第一歩として、同社は既存の企業情報とインターネット上のビッグデータを統合し、顧客がマーケティング分野などで利用するための特定業界企業データのリストアップサービスの付加価値を向上させた。その技術基盤として、Hadoopによる分散処理機能を搭載したビッグデータ分析ソフトウェア