タグ

mapreduceとdata-engineeringに関するnabinnoのブックマーク (2)

  • 基礎から解説!企業を変えるHadoop

    「ビッグデータ」をスマートに処理をする新しい道具、それがオープンソースミドルウエアのApache Hadoop(ハドゥープ)です。このHadoopの力で新たな収益を獲得する企業が増えています。連載ではこのHadoopを基礎から説明していきます。まず今さら聞けないHadoopの基、もう一度おさらいしたいアーキテクチャーを解説。分散ファイルシステムの操作とMapReduce処理をコードで確認。ユースケースやクラスタ管理にも言及していきます。2012年に予定されている次期メジャーリリース0.23の情報などの最新トピックも取り込みます。 目次

    基礎から解説!企業を変えるHadoop
  • いまさら聞けないHadoopとテキストマイニング入門

    ビッグデータ時代の救世主「Hadoop」とは 「Apache Hadoop」は今、最も注目を集めている技術の1つです。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 Hadoopを活用している企業は年々増え続けていて、不可欠な技術になりつつあるといえるでしょう。 連載では、Hadoopとは何か、Hadoopがどう活用できるのかということを、「テキストマイニング」に焦点を当てて解説していきたいと思います。 重い処理を複数のマシンに分散させる 複数のマシンに処理を分散させるには、プロセス同士の通信、監視、障害時の対応などを考えなければならず、プログラマにとってハードルが高いものです。しかし、Hadoopはそういった面倒くさい処理を一手に引き受けてくれ、プログラマは、やりたい処理だけに集中できます。 例えば、Hadoopを使うと、1

    いまさら聞けないHadoopとテキストマイニング入門
  • 1