タグ

hadoopに関するni66lingのブックマーク (3)

  • [第2回]Hadoopの生い立ち

    ここに来てビッグデータの代名詞ともなったApache Hadoopですが、その生い立ちは意外に知られていない感があります。Apache Hadoopというソフトウエアが日でこれほどメジャーになったのは2011年のこと。Apache Hadoopに早く取り組み始めたという方でも、その存在を知ったのは2008~2009年頃でしょう。 筆者はソフトウエアにも人間と同じように“年齢”があり、シニアになるほど安定し信頼性が増すと考えています。例えば、UnixやLinuxなどのオペレーティングシステムや、リレーショナルデータベース(RDB)、TPモニターJavaのミドルウエアなどは誕生してから10年以上が経過し、企業システムで利用され続けるなかで、品質・機能とも大幅に向上しました。これらのソフトウエアは成長期を終え安定期にあるでしょう。人間で言うと30代中盤から40代前半、信頼があり経験豊富で重要

    [第2回]Hadoopの生い立ち
  • いまさら聞けないHadoopとテキストマイニング入門

    ビッグデータ時代の救世主「Hadoop」とは 「Apache Hadoop」は今、最も注目を集めている技術の1つです。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 Hadoopを活用している企業は年々増え続けていて、不可欠な技術になりつつあるといえるでしょう。 連載では、Hadoopとは何か、Hadoopがどう活用できるのかということを、「テキストマイニング」に焦点を当てて解説していきたいと思います。 重い処理を複数のマシンに分散させる 複数のマシンに処理を分散させるには、プロセス同士の通信、監視、障害時の対応などを考えなければならず、プログラマにとってハードルが高いものです。しかし、Hadoopはそういった面倒くさい処理を一手に引き受けてくれ、プログラマは、やりたい処理だけに集中できます。 例えば、Hadoopを使うと、1

    いまさら聞けないHadoopとテキストマイニング入門
  • TwitterやFacebookで使われている「Apache Hadoop」のメリットや歴史を作者自らが語る

    大規模データの分散処理を支えるJavaソフトウェアフレームワークであり、フリーソフトウェアとして配布されている「Apache Hadoop」。その作者ダグ・カティング(Doug Cutting)さんが「Cloud Computing World Tokyo 2011」&「Next Generation Data Center 2011」において「Apache Hadoop: A New Paradigm for Data Processing」という講演をしていたので聞きに行ってきました。 満員の客席。 皆様を前にして講演できることを大変光栄に思っております。「Apache Hadoop」について皆様に伝えていきますが、これはまさにデータ処理の新たなるパラダイムを提供するものではないかと私は思っております。 まずは簡単に自己紹介をさせていただきましょう。私は25年に渡ってシリコンバレーで仕

    TwitterやFacebookで使われている「Apache Hadoop」のメリットや歴史を作者自らが語る
  • 1