タグ

2012年11月1日のブックマーク (1件)

  • 低スペックな頭の僕がhadoopの環境を作ってうごかしてみる - regtan’s TechNote

    黄色い象さんでおなじみのhadoopですが正直のところあまりよくわかっていません。流石にそろそろまずいとおもうのでさっそく環境作って動かしてみます。今回は超ざっくりSingleNodeSetupのドキュメントを訳したりしながら進めます。 hadoopってなんぞ hadoopのOverviewにはこんなこと書いています。*1 MapReduce*2 超でっかいデータセット(テラバイト)を数千ノードのでっかいクラスタで分散処理を簡単に書くためのフレームワーク データセットを分けて、バラバラに処理する タスクのスケジューリングや失敗したタスクの再実行もする HDFS*3 Hadoop Distributed File System 分散ストレージや分散処理によくなじむらしい フォールトトレラントやスケールに応じて単純に拡張できる Common File System Shell/Service

    低スペックな頭の僕がhadoopの環境を作ってうごかしてみる - regtan’s TechNote