タグ

hadoopとjavaに関するstarsky5のブックマーク (3)

  • オルカンモブログ: Hadoop Quick Start on Mac

    2008年11月24日 Hadoop Quick Start on Mac 以下のページを参考にMac上でHadoopを動かしてみたので備忘録として書いておきます。躓いたところもそのまま書きますので内容としては纏まっていませんが、同じように躓いている方には参考になるかもしれません。 http://hadoop.apache.org/core/docs/current/quickstart.html まずは、以下のページからHadoopをダウンロードします。 新しものずきだから最新版 hadoop-0.19.0.tar.gz をダウンロード。 http://www.apache.org/dyn/closer.cgi/hadoop/core/ ダウンロードしたファイルを適当なディレクトリへ展開しておきます。 $ tar xzf hadoop-0.19.0.tar.gz 展開してできたhadoo

  • Hadoopのインストールとサンプルプログラムの実行

    前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました(図1 参照)。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。 2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS(Hadoop Distributed File System)、Hadoop MapReduce F

    Hadoopのインストールとサンプルプログラムの実行
  • Hadoopの解析資料

    オープンソース分散システム「Hadoop」に関する解析資料を公開させて頂いております。この調査はNTTレゾナント株式会社様と共同で行いました(プレスリリース)。 Hadoop解析資料(PDF), 最終更新: 2008/08/25, 公開: 2008/08/25 Hadoopの実際のインストール方法などにつきましては、弊社太田による以下の記事もご参考下さい。 Hadoop、hBaseで構築する大規模分散データ処理システム Hadoopのインストールとサンプルプログラムの実行 複数マシンへHadoopをインストールする

  • 1