HBaseチューニング – G1GC等 – OpenGroove
このブログでHadoop関連記事へのアクセス割合はそう多くないのだが、その中で検索キーワードが多い順番は、1. Hive 2. Hadoop 3. HBase となっている。Hiveは人気だね。HBase、まだまだ小数派。しかしアクセスが多かろうが少なかろうが、今日も書くHBaseネタ。自分のためにw さて現状、HBaseにはJuliet Pauseと呼ばれるトラブル発生のシナリオがある。詳細は以下。 HBaseのJuliet Pauseとリージョン復旧について 上記からの引用を含め、一言でいうと「GCのStop the WorldでRegionServerが一時停止している間に、ZooKeeperとのセッションがタイムアウト。これによりHMasterから死亡判定が下され、（”YouAreDeadException”が発生）RegionServerがダウンする」というもの。 対策として、以
ほぼやけくそHive Hacks – OpenGroove
Hive Hacksあれこれ。内容はほぼO’REILLY Hadoop Hacksからの引用そのまんま。ただの個人メモなのだが、ずうずうしく公開させてもらいます。いろんなところに記録しておいてもすぐに「あれ、あのメモどこやったっけ」となるのでここに書くのが一番なんだよね。書いたからって理解できるわけでもないんだが… （初めに書いておくと、この投稿長いです） 基本原則的なこと。 ●UPDATEは回避する 処理速度が遅延するため、UPDATEを多数含むようなSQLをHiveSQLに変換することは避けるべき ●MapReduceタスクのオーバーヘッド Hiveは「高スループットを目指す処理には向いているが、低レンテンシを目指す処理には向いていない」というMapReduce処理の特徴を引き継いでいる。MapReduceタスクのオーバーヘッドが付きまとうことを念頭におく。 ●並列分散ができない処理
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
