Hadoop Streaming 試行錯誤 | 女プログラマってどうよ？
Hadoop Streaming を使ってみている。 まだあんまりドキュメントがないので、 試行錯誤するしかない。 なわけで、今日の試行錯誤のメモ。 インストールや環境設定については、 書いてあるページがそこそこあるから そっちを見てください。 ※exblogに怒られないように、 ところどころ大文字になっているので、 コピペするときは気をつけてね 前提： (1) input.txt を hdfs に送っておく。 > $HADOOP_HOME/bin/hadoop hdfs -put input.txt (2) -output の temp ディレクトリは毎回削除する。 > $HADOOP_HOME/bin/hadoop hdfs -rmr temp ちなみに >hadoop dfs -rmr temp[1234] とか >hadoop dfs -rmr temp* とかも可能 【１】per
Hadoopのインストールとサンプルプログラムの実行
5. MapReduceの説明 次にMapReduceの説明に入ります。MapReduceという名前は、処理が「Mapフェーズ」と「Reduceフェーズ」という2つのフェーズで構成されることに由来しています。 Mapフェーズは元データから情報を抽出する処理、Reduceフェーズは抽出された情報を集約する処理を行います。プログラマはMapフェーズ・Reduceフェーズのロジックを記述するだけで、MapReduceフレームワークが入力の分割やMap・Reduceの分散実行などの面倒を見ます。 MapReduceフレームワークでは[key, val]のペアが重要になります。MapReduceプログラムに[key, val]のリストを入力すると、MapフェーズとReduceフェーズを経て、出力として[key', val']のリストが得られます。 Mapフェーズでは入力の[k1, v1]のペアに対し
Hadoopのインストールとサンプルプログラムの実行
前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました（図1 参照）。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。 2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemとMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS（Hadoop Distributed File System）、Hadoop MapReduce F
Hadoop - PukiWiki
2009-11-12 Hadoop 2009-11-11 SQL 2009-10-27 FrontPage 2009-10-02 PowerPoint RecentDeleted 2009-09-04 WWW 2009-08-25 bash 2009-08-11 文字コード Windows 2009-07-14 エクセルVBA 2009-07-13 Perl 2009-07-07 Ruby Java 2009-07-04 リンク 2009-04-30 C++ 2009-03-13 DirectShow 2009-02-24 料理 2009-02-23 スノーボード 2009-02-13 投稿学会 2009-02-09 ビデオ作成 SSH Agent Forwarding † インストール前にSSH Agent Forwardingの設定をして、パスワードなしでログインできるようにしておく。
第28回 RubyとHadoopで分散処理 Hadoop Streamingの仕組み | gihyo.jp
はじめに Hadoopとは、Googleの基盤技術であるMapReduceをJavaでオープンソース実装したもので、分散処理のフレームワークです。Hadoopを使うと、1台のサーバでは時間の掛かるような処理を、複数のサーバで分散処理させることができます。「処理を割り振ったサーバが壊れた場合どうするか」などの耐障害性の問題もHadoopが管理してくれるため、利用者は処理のアルゴリズムのみに集中することができるのです。素晴らしいですね。最近ではYahoo!やはてななど、様々な企業でも利用されるようになってきています。 Hadoop導入の背景 筆者はクックパッド株式会社に勤めています。open('http://cookpad.com'); return false;">クックパッドというサイトが有名だと思いますが、他にも携帯版クックパッドであるopen('http://m.cookpad.co
RubyでHadoop Streaming[1/2] - 森薫の日記
Hadoop, Ruby | 02:29 | WEB+DB PRESS Vol.48でid:naoyaさんがHadoopの記事を執筆されていました。PerlからHadoop Streamingを使う方法が解説されていて、それと同じことをRubyで試してみました。WEB+DB PRESS Vol.48作者: WEB+DB PRESS編集部編出版社/メーカー: 技術評論社発売日: 2008/12/23メディア: 大型本標準入力をそのまま出力するMapperによるMapReduce/etc/passwdをHDFSにコピー $ /usr/local/hadoop/bin/hadoop dfs -copyFromLocal /etc/passwd passwd Mapperの作成map.rb #!/usr/bin/env ruby ARGF.each do |line| line.chomp! pr
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
複数マシンへHadoopをインストールする