第9回 MapReduce処理をやってみよう！［準備編］ | gihyo.jpMapReduce処理の向き不向き さて、前回構築したHadoop環境ですが、それを使ってのMapReduce処理の実装をしてみましょう。が、その前に、どのような処理が向いているのか確認してみたいと思います。 MapReduceは計算フレームワークですが、HDFSと組み合わせることにより、特に大規模データの分散処理に有用なものとなります（小さい入力データについて処理を分散させることも可能です）。 入力に使用されるデータの種類は テキスト XML バイナリ データベースから という風にいくつかの入力を受け付けることが可能です。今回はテキストファイルを入力としたMapReduceを行いたいと思います。 大規模なテキストデータ 入力となるテキストデータを今回はインターネット上のコンテンツから取得したいと思います。 2ちゃんねるという巨大掲示板サイトは、みなさんご存じかと思います。2ちゃんねる
