ネームノードHAにおける自動フェイルオーバー(概要編)
Disclaimer: The opinions expressed here are my own and do not necessarily represent those of current or past employers.Twitter / Photos Disclaimer: The opinions expressed here are my own and do not necessarily represent those of current or past employers. Twitter / Photos Hadoopアドベントカレンダー2012 #hadoopAC12jpの4日目のエントリとして、CDH4.1で導入された高可用性(HA:High Availability)ネームノードの自動フェイルオーバーについて紹介します。 Introduction C
Hadoop徹底入門 第2版
ビッグデータ時代を支える定番ソフト、最新解説書登場本書は、ご好評をいただいた『Hadoop徹底入門』の第2版です。Hadoopは、オープンソースで利用できる分散処理フレームワークで、多数のPCをつなぎ巨大な処理を短時間で可能にするものです。また、システムの一部が壊れたとしても稼動し続けられるなど、高い耐障害性をもつことでも注目されています。第2版では旧版を全面的に見直し、大きく変わったHadoopの最新版に対応しました。 Hadoopのインストールから、Javaによるプログラミング、運用のテクニックまで、実際にHadoopを使ってみようという方向けの情報を充実させています。また、多くの最新トピックも盛り込み、初心者から実際にHadoopを使っている人までご利用いただける内容となっています。
『SecondaryNamenode image edits マージ失敗 (saveNamespa』
saveNamespaceコマンドによる復旧 どうやら以下のバグにぶつかっていたようで、 http://www.cloudera.co.jp/blog/riskofhdfsmetadatacorruptionduetodfs-name-dirwithidenticaldirectoryend-component.html NameNodeのMasterとセカンダリでメタデータの不整合が起きて、 それにより、SecondaryNamenodeでimageとeditsのマージに失敗する事象が起きました。 解決方法も上記のURLの通りで解決しました。 ただ、namenodeだけにビビリました。。 メタデータ不整合とか怖い・・(CDH4以上なら安心のようで) あと、CDH4以上でもスキーマを日本語で作るとメタデータが落ちる？壊れるという噂も・・ おおざっぱな流れとしては、 1. セカンダリネームノ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[HDFS-8277] Safemode enter fails when Standby NameNode is down - ASF JIRA
Administering an HDFS High Availability Cluster
Hadoop2 HA備忘録 - 分析インフラエンジニア(+α フロントエンド) eratostennis's blog
Apache Hadoop 2.7.1 – HDFS High Availability Using the Quorum Journal Manager
2. Back Up Critical HDFS Metadata - Hortonworks Data Platform
