HDFSでMissing blocksが出た場合、DataNodeに問題があって外したい場合の対応メモ - たごもりすメモ
手元でちょっとやったのでメモっとく。 Missing blocksが出た場合 HDFSのブロックが読めなくなることがある。手元ではHoop Server経由でappendが高頻度で発生している状況で、さらにHiveのクエリ実行が重なって派手にiowaitが出たときに起きた。 こうなると、そのブロックを含むファイルをMapReduceジョブが読みにいったときにIOErrorでコケてどうにもならなくなる。 状況は以下のコマンドで確認できる。 $ hadoop dfsadmin -report Configured Capacity: 35339596017664 (32.14 TB) Present Capacity: 33745796892986 (30.69 TB) DFS Remaining: 13764055724032 (12.52 TB) DFS Used: 19981741168
ネームノードHAにおける自動フェイルオーバー(概要編)
Disclaimer: The opinions expressed here are my own and do not necessarily represent those of current or past employers.Twitter / Photos Disclaimer: The opinions expressed here are my own and do not necessarily represent those of current or past employers. Twitter / Photos Hadoopアドベントカレンダー2012 #hadoopAC12jpの4日目のエントリとして、CDH4.1で導入された高可用性(HA:High Availability)ネームノードの自動フェイルオーバーについて紹介します。 Introduction C
"Hbase at Facebook" に行ってきた - たごもりすメモ
名称表記が揺れてて微妙だけど Hbase at FaceBook on Zusaar このイベントに行ってきた。Facebookの人は "HBase Tokyo meetup" と認識していたようだ。 内容のまとめはやらないので、以下の各ページなどをご覧になると良いのではないでしょうか。 Tokyo HBase Meetup - Realtime Big Data at Facebook with Hadoop and HB… Hbase at FaceBookのまとめ - Togetterまとめ FacebookがHBaseを大規模リアルタイム処理に利用している理由（前編） － Publickey FacebookがHBaseを大規模リアルタイム処理に利用している理由（後編） － Publickey セッションの内容と自分が考えたことと人としゃべったことをいっしょくたにここに書いておく。
分散ファイルシステムHDFSを体験する
Googleが使っている分散ファイルシステム「GFS」のオープンソースによる実装が、Hadoopの「HDFS」です。ファイルシステムというと、Windowsの「FAT32」や「NTFS」、Linuxの「ext3」や「ext4」などが有名ですが、HDFSはそれらとはちょっと使い勝手が違います。ここでは、実際にHDFSを使ってみます。 とはいえ多数のPCを用意するのは大変でしょうから、ここでも疑似分散モードで動かします。同じマシン上に複数のHDFSのデーモンを立ち上げる方法です。HDFSのデーモンとは前で説明したように、NameNodeやDataNodeです。擬似分散モードでも、複数のデーモンが協調して動くことで、HDFSを利用できるようになります。実際にHDFSを体験してみる前に、HDFSとはどういうファイルシステムなのか簡単に理解しておきましょう。 すでに説明したとおり、HDFSではNam
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloudera | ハイブリッドデータカンパニー
