Apache Hadoop YARN, NameNode HA, HDFS Federation
The document provides an introduction to YARN, HDFS federation, and HDFS high availability. It discusses limitations of the original MapReduce framework and HDFS, such as single points of failure. It then summarizes improvements in YARN including distributed resource management and the ability to run multiple applications. HDFS federation and high availability address scalability and reliability c
How to convert non-HA NameNode to QJM HA on CDH4 | 外道父の匠
CDH3から始めてCDH4.1までアップグレードして利用し続けていますが、この過程でNameNodeの構成は変更せずに運用してきました。 当然、CDH4からの公式HA構成に関心はあったのですが、複数の更新を同時に行うと危ないとか、英語マニュアル読むのめんどくせー感からミドルレンジに距離を置いていたところに、もりす先生がトライしてくれて、乗るしかないビッグウェーブ到来。待つべきものは他人の検証とはよく言ったものですなぁ。 タイトルはNameNode構成の切り替え、となっていますが、これから新しくQJM HAで組む人にも役に立つ内容となっていますゆえ、私が血反吐を吐いてまとめた情報を是非ご覧くださいませ。 リンク CDH4.1におけるクォーラムベースジャーナリング Quorum-Journal Design CDH4.1オーバービュー Software Configuration for Qu
CentOS 6 で QJM ベースの NameNode HA + 自動フェイルオーバを構成した時のメモ - 映画は中劇
Hadoop HDFS の NameNode は長い間単一障害点だったのですが、 CDH 4 から、 NFS 上の edits ログを共有する形でのアクティブ/スタンバイ構成が可能になりました。しかし、フェイルオーバが中途半端になると共有 edits ログが破壊されるとか、 NFS が新しい単一障害点になってしまうとかで、評判が良くなかったようです。 そこで CDH 4.1 からは、 JournalManager という、 edits ログを書き込む専門のデーモンが追加されました。アクティブな NameNode は、 Quorum Journal Manager (QJM) を通じて、共有 edits ログを JournalNode クラスタに書き込めるようになりました。 今回、 QJM ベースの NameNode 冗長化を試すため、 HDFS クラスタを作ってみました。同時に ZooKe
HDFSのスケーラビリティ - Google グループ
Google グループでは、オンライン フォーラムやメール ベースのグループを作成したり、こうしたフォーラムやグループに参加したりすることで、大勢のユーザーと情報の共有やディスカッションを行うことができます。
HDFS HA セミナー #hadoop
2013/05/30に開催した、HDFS HA(High Availability: 高可用性)セミナーの資料です。同じくご登壇頂いた、株式会社サイバーエージェントの上原誠様の資料は↓です。 http://www.slideshare.net/makotouehara39/cl-st-20130530nnha
Cloudera Manager4.0とNameNode-HAセミナー資料
2012年7月のセミナーおよび説明会で使用した、CDH4の高可用NameNode(NameNode-HA)とCloudera Manager4.0の資料です。
Cloudera Blog
Enterprises see embracing AI as a strategic imperative that will enable them to stay relevant in increasingly competitive markets. However, it remains difficult to quickly build these capabilities given the challenges with finding readily available talent and resources to get started rapidly on the AI journey. Cloudera recently signed a strategic collaboration agreement with Amazon […] Read blog p
Cloudera Blog
It’s hard to believe it’s been 15 years since the global financial crisis of 2007/2008. While this might be a blast from the past we’d rather leave in the proverbial rear-view mirror, in March of 2023 we were back to the future with the collapse of Silicon Valley Bank (SVB), the largest US bank to […] Read blog post
インフラエンジニアのためのHadoop情報 状態監視その１：So-net Developer Blog：So-netブログ
Hadoopを運用するノードもそれなりの台数になってくると、ノードの稼動状態を監視する 必要が出てきます。１０台以上にもなるとそれぞれにログインしてプロセスを確認するのも かなり面倒です。 ここでは、監視ツールとしてポピュラーな「Nagios」を使って、Hadoopノードを監視する 方法について書いておきます。 使うのは「check_http」コマンドです。このコマンドは、指定ポートに接続してhttpを getして、得られるレスポンス文字列を調べて状態を判定します。 これを使ってHadoopの各サービスの状態を見てみましょう。 NameNode用のWebUI(http://[NameNodeのIP]:50070/dfshealth.jsp)には、レスポンス中に 「NameNode」の文字列が入っています。 この文字列を取得できたら、少なくともNameNodeは止まってはいないと判断できます
インフラエンジニアのためのHadoop情報 障害復旧その１：So-net Developer Blog：So-netブログ
Hadoopの障害の中でも、あらかじめ復旧手順を確認しておかなければいけないとすれば、 やはりNameNodeでしょう。 PrimaryNameNodeが停止するとHadoopクラスタは利用できなくなります。 fsコマンドでエラーが返ってくるようなら、NameNodeに問題が発生している場合があります。 NameNodeの障害を放置しておくと、HDFS上のデータが破損してしまう恐れがあるので、異常を 見つけたら速やかに復旧しましょう。 以下の例は、PrimaryNameNodeが停止した場合のエラーです。 $ hadoop fs -ls 10/07/06 18:18:06 INFO ipc.Client: Retrying connect to server: srv1/192.168.1.1:8020. Already tried 0 time(s). 10/07/06 18:18:07
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloudera | ハイブリッドデータカンパニー