HadoopのファイルシステムとしてS3を利用する
EC2でHadoopを使う場合、インスタンスを停止するとデータがなくなる（EBSを使うという手もありますが）関係でデータはS3に置く場合が多いと思います。 その場合、S3からEC2上のHDFSに読み込んでから処理をして最後にS3に書き出すということも考えられますが、やはりS3上のファイルを直接Hadoopのジョブ入出力として使うのが効率が良い。（更に言うと、複数のジョブを実行する時の中間のデータを保存するのにはHDFSを使った方が速い） そもそもHadoopはファイルシステムの部分を抽象化していて、HDFSもその実装の一つに過ぎません。 AmazonS3 – Hadoop Wikiにもありますが、S3を使うための実装には2種類あるので注意。 S3 Native FileSystem (URI scheme: s3n) 普通にS3上のファイルを読み書きするネイティブファイルシステム。H
Hadoopソースコードリーディング第8回の感想 - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 2012/2/8のHadoopソースコードリーディング第8回に行ってきました！ （→Togetter、他の人のメモ：johtaniさん、taro_xさん） 今回の最初は、@muddydixonさんの『オレオレMultipleInputを作る方法』（→資料）。 MongoDBからデータを読み込むMongoMultipleInputsを作ったという話。 「Mongoパス（URL）と読み込む条件とそれを処理するMapperクラス」を複数指定し、別々のMapTaskとして同時に処理できるということのようだ。 ただ、現状ではMongoDBのチャンク（分散場所の情報かな？）を見ているわけではないので、ネットワークの負荷はかかりそうな感じ。 キーと値にはBSONWritableが指定で
HadoopのHDFS確認とサンプルプログラムの実行 - osacaz4の日記
前回作成したHadoop環境でHDFSの確認を行います。 その後、HDFSを使うサンプルプログラムを実行します。 参考サイト：http://archive.cloudera.com/docs/cdh3-pseudo-distributed.html 準備 inputディレクトリを作成する $ hadoop-0.20 fs -mkdir input作成されたか確認する $ hadoop-0.20 fs -ls Found 1 items drwxr-xr-x - root supergroup 0 2010-06-01 22:49 /user/root/input 試しに設定用のXMLファイルをHDFSへコピー $ hadoop-0.20 fs -put /etc/hadoop-0.20/conf/*.xml inputコピーされたか確認 $ hadoop-0.20 fs -ls input
hadoop取り敢えずまとめ | Find Something You’ve Lost
hadoop ver. 0.20.0 について 下記の項目に留意して効率アップをする プログラム中でのconf.setNumReduceTasks(<INT>)の記述 プログラム中でのcombineの工夫 プログラム中でのconf.setCompressMapOutput(true);conf.setMapOutputCompressorClass(DefaultCodec.class);の記述 core-site.xmlでのio.sort.factorの設定(100など) また、hdfsを使わない時の設定として留意する点は、core-site.xmlt中においてfs.default.nameをfile:///とすることとともに、mapred-site.xml中に、mapred.system.dirとmapred.temp.dirに対して、cluster環境下(=複数ノードに渡る構成)でも
HDFS の信頼性（原題：HDFS Reliability） (Pac Learner)
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Windowsでhadoopのstandaloneモードを動かす - hiuchidaの技術日記
お題目うぉっち
