Hadoop 0.21でのHDFSの変更点
8/23にリリースされた0.21ですが、多くの変更点があり、特徴的な部分がclouderaのブログで紹介されています。 What’s New in Apache Hadoop 0.21 その中でもHDFSの変更点を紹介していきます。リリースノートはこちら support appends append は0.19.0 で導入された後に安定性の問題で0.19.1からは無効になっていましたが、0.21.0で新しい実装(HDFS-265)が導入されました。HDFS-265にはappendDesign3.pdfというファイルにappendやHfulshのデザインの詳細がドキュメント化されているので、合わせて読んでおきたい所です。 new filesystem API FileContextと呼ばれる新しいAPIが導入されました。これの説明はこのスライドがわかりやすいと思います。 HDFS以
[Hadoop]複数ディスクを使って効率の良い処理
Hadoop では一つのノードあたり複数ディスクを使うことができますが，ディスクを増やすことによってどれくらい性能が向上するか調べました． HDFSで使用するディスクをdfs.data.dirにコンマ区切りで記入することで複数使えます． <property> <name>dfs.data.dir</name> <value>/data/local/${user.name}/hadoop/dfs/data, /data/local2/${user.name}/hadoop/dfs/data</value> </property> しかし，これだけではまだダメで，mapタスク，reduceタスクが中間データを書き込むディスクも複数指定しなしとHadoopのジョブで複数ディスクを効率良く使えません．mapred.local.dir で設定可能です． <property> <name>mapre
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
