HDFSでMissing blocksが出た場合、DataNodeに問題があって外したい場合の対応メモ - たごもりすメモ
手元でちょっとやったのでメモっとく。 Missing blocksが出た場合 HDFSのブロックが読めなくなることがある。手元ではHoop Server経由でappendが高頻度で発生している状況で、さらにHiveのクエリ実行が重なって派手にiowaitが出たときに起きた。 こうなると、そのブロックを含むファイルをMapReduceジョブが読みにいったときにIOErrorでコケてどうにもならなくなる。 状況は以下のコマンドで確認できる。 $ hadoop dfsadmin -report Configured Capacity: 35339596017664 (32.14 TB) Present Capacity: 33745796892986 (30.69 TB) DFS Remaining: 13764055724032 (12.52 TB) DFS Used: 19981741168
Hadoop 0.21でのHDFSの変更点
8/23にリリースされた0.21ですが、多くの変更点があり、特徴的な部分がclouderaのブログで紹介されています。 What’s New in Apache Hadoop 0.21 その中でもHDFSの変更点を紹介していきます。リリースノートはこちら support appends append は0.19.0 で導入された後に安定性の問題で0.19.1からは無効になっていましたが、0.21.0で新しい実装(HDFS-265)が導入されました。HDFS-265にはappendDesign3.pdfというファイルにappendやHfulshのデザインの詳細がドキュメント化されているので、合わせて読んでおきたい所です。 new filesystem API FileContextと呼ばれる新しいAPIが導入されました。これの説明はこのスライドがわかりやすいと思います。 HDFS以
Hadoop のコモディティはローエンドという意味ではない - 科学と非科学の迷宮
Hadoop に関するよくある勘違いの一つとして、「古いマシンを有効活用できる」というものがあります。 その根拠となるのが、公式サイトを含めあちこちで書かれる「コモディティサーバの上で動く」という一文です。 The Hadoop Distributed File System (HDFS) is a distributed file system designed to run on commodity hardware. 404 Not Found しかし Hadoop本9章などにも書かれている通り、コモディティサーバとはローエンドサーバという意味ではありません。 あくまで「複数のベンダから入手可能なサーバ」という意味であって、決して安いサーバを意味しているわけではないのです。 メモリだけあれば古いマシンが蘇る memcached とかとは訳が違います。 例えば2010年3月時点でのCl
ハタさんのブログ(復刻版) : HDFS の HadoopThriftServer をなんとかする
hadoop の話題。その2 hadoop を支える HDFS には HDFS-APIを通すことで、プログラム中から HDFS の読み書きが出きるようになります。(たぶん、hdfs-s3 なんかもこのAPI経由(? ソース読んでない)) (中略) んで、この HDFS-API のなかに、Thrift を使って リモート上から HDFS の読み書きをできるようにしている HadoopThriftServer(theiftfs) があります。 この thriftfs の起動は に書かれているのですが、shellを握ってしまうのでこんな感じにしました。 #!/usr/bin/env bash THRIFTFS_PID_FILE=$HADOOP_PID_DIR/thrift.pid THRIFTFS_LOG_FILE=$HADOOP_LOG_DIR/thrift.log if [ -f $THR
HDFSが飛んだ話: おちエンのブログ
sshd を上げていると、中国界隈からかなり激しくアクセスが来ます。 大体 root で login を試みて、おそらく辞書攻撃しているのでしょう。 cron で /var/log/secure を見て、不正アクセス（の試み）してきた IP アドレスを iptables でアクセス遮断するスクリプトを回していたのですが、言うまでもなくどんどん IP アドレスを変えてくるので、iptables のルールがどんどん増えるだけ。 しょうがないので sshd の port を 22/tcp から他の port へ変更しました。それで不正アクセスはなくなりました。IP アドレスは変えるけれど、port scan まではしないようです。bot なのでしょうね。 それはいいのですが、Hadoop を止めるのを忘れていて。。。 気がついたときには HDFS のファイルが全部飛んでいました。 まあ、重要なフ
HMaster Japan
2010年6月1日火曜日 HBase について、今後 回答していきたい質問など Hadoop ソースコードリーディングの際に、主に Twitter タイムライン上で見かけた HBase に関する質問・疑問点をリストアップしました。今後、少しずつ回答していきますので、よろしくお願いします。（回答の順序は多少前後するかもしれません） Java VM のガベージコレクション（GC）の挙動が、リアルタイム性能に影響を与えたりしないでしょうか？ HDDの代わりにSSDを使うと random read の性能は向上しますか？ Big Dataとはどういうものを指しますか？ → @yutuki_r さんからの補足： Fat、Wide、Wide&Sparse、Tallという分類法 リージョンのサイズはどのくらいに設定されていますか？ NULL値がディスクスペースを消費しない(?) のはなぜですか？ 追
HDFSのスケーラビリティとマルチマスタへの取り組み
6. The Internal Load3 block reports per second, each reporting 60,000 replicas10,000 heartbeats per secondNNThroughputベンチマークの結果Block reportsによって常にCPUの30%が消費されている 7. Reasonable Load ExpectationsHDFS read and write throughputOpen and create throughputInternal loadがあるのでThroughputのうち70%のみ実際に使用可能100,000クライアントで各クライアントが96MB書き込むとすると、2.4秒なので、41,667 create block / sec3920 ops/sしか書き込めない
HDFSのスケーラビリティ
Either email addresses are anonymous for this group or you need the view member email addresses permission to view the original message 皆さま 本日、Yahoo!からHDFSを大規模な環境(数千～数万ノード)でHDFSをdeploy した際に、どのような問題があるかという情報が色々書かれた記事/blogがポ ストされました。 - HDFS Scalability (PDF注意) -- http://www.usenix.org/publications/login/2010-04/openpdfs/shvachko.pdf - Scalability of the Hadoop Distributed File System -- http://devel
HDFS File System Shell Guide
The FileSystem (FS) shell is invoked by bin/hadoop fs <args>. All FS shell commands take path URIs as arguments. The URI format is scheme://autority/path. For HDFS the scheme is hdfs, and for the local filesystem the scheme is file. The scheme and authority are optional. If not specified, the default scheme specified in the configuration is used. An HDFS file or directory such as /parent/child can
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
