タグ

ブックマーク / jp.hmaster.info (3)

  • HMaster Japan: HBase: Java VM の GC とメモリー関連の設定

    2010年6月6日日曜日 HBase: Java VM の GC とメモリー関連の設定 Question: Java VM のガベージコレクション(GC)の挙動が、リアルタイム性能に影響を与えたりしないでしょうか? Answer: フルGCの発生や慢性的なメモリー不足などにより、HBase が稼動している Java VM が一時停止すると、DB操作のレスポンス悪化につながります。また、一時停止の時間が数十秒を超えると、そのノードが HBaseクラスターから切り離される(ノードが自主的にシャットダウンする)こともあります。 これらについては、以下の方法で予防できます。 Java VM のガベージコレクタとして、Sun Java 6 の CMS GC(コンカレント マーク&スイープ GC)を選択します。HBase 0.20 以降では、CMS GC はディフォルトで選択されていますので、設定の変

  • HMaster Japan

    2010年6月1日火曜日 HBase について、今後 回答していきたい質問など Hadoop ソースコードリーディングの際に、主に Twitter タイムライン上で見かけた HBase に関する質問・疑問点をリストアップしました。今後、少しずつ回答していきますので、よろしくお願いします。(回答の順序は多少前後するかもしれません) Java VM のガベージコレクション(GC)の挙動が、リアルタイム性能に影響を与えたりしないでしょうか? HDDの代わりにSSDを使うと random read の性能は向上しますか? Big Dataとはどういうものを指しますか? → @yutuki_r さんからの補足: Fat、Wide、Wide&Sparse、Tallという分類法 リージョンのサイズはどのくらいに設定されていますか? NULL値がディスクスペースを消費しない(?) のはなぜですか? 追

  • HMaster Japan: HBase入門 - 5月27日発表

    2010年5月30日日曜日 HBase入門 - 5月27日発表 Hadoop ソースコードリーディング(第2回)にて、HBaseを紹介しました。 HBaseの特徴 ユースケース(事例紹介) 当日は80名を超えるHadoopファンの方々にご来場いただきました。最後まで熱心に聞いていただきありがとうございました! 参考:当日の Twitter まとめ 次回以降は、以下の内容を予定しています。 【6月】HBaseとCassandraの比較(設計上のトレードオフを理解する) 【7月】HBaseでつまずきやすい点と、ロードマップ(次期メジャーリリースの紹介) スライドは事前に公開する予定です。実は、英語・日語版共に下書きはできていて、HBaseの開発リーダーのレビュー済みなんです。 ただ、会場で、Cassandraの開発チームにもレビューしてもらうと、より充実したプレゼンになるのでは?と

  • 1