タグ

ブックマーク / blog.cloudera.co.jp (3)

  • ネームノードのヒープメモリのサイジング

    このブログは「Sizing NameNode Heap Memory」ドキュメントの翻訳記事です。 各ワークロードには、ユニークにバイトを配分するプロファイルがあります。一部のワークロードではヒープメモリとガベージコレクションにデフォルトのJVMの設定を使用することができますが、他のワークロードではチューニングが必要です。このトピックでは、動的なヒープの設定によってボトルネックが発生した場合のNameNodeのJVMのサイジングに関する指針を提供します。 すべてのHadoopのプロセスは Java Virtual Machine(JVM)上で実行されます。JVMの数はデプロイモードによって異なります。 ローカル (またはスタンドアロン)モード − デーモンは存在せず、すべてが単一のJVM上で実行されます。疑似分散モード −(NameNodeデーモンなどの)各デーモンは、単一のホスト上の独自

  • Cloudera Altusでクラウドの大規模データ処理をお手軽に

    原文記事: http://vision.cloudera.com/simplifying-big-data-in-the-cloud/ 原文著者: Jennifer Wu 昨今のパブリッククラウド採用の加速に伴い、大規模なデータワークロードのためにクラウドに目を向けるお客様が増えるにつれ、我々はどうすればクラウド内で Cloudera の機能を最も効果的に提供できるのか、あらためて検討しました。 お客様は、絶え間なく成長するビジネスデータを効率的かつ費用対効果の高い方法で分析するために、クラウドが提供する俊敏性、規模、使いやすさをどのように活用すればいいのか知りたがっていました。さらに、お客様は Cloudera プラットフォームのエンタープライズ機能と信頼性もそのまま利用したいと考えていたのです。 そこで我々はクラウドを全社的な優先事項とし、Cloudera スタック全体の相互運用性を維

    yuyhiraka
    yuyhiraka 2017/05/25
  • Apache Hadoopエコシステムにおける、異なるファイル形式とストレージエンジンのパフォーマンス比較

    著者/Author: Zbigniew Branowski (Cern) 原文/Original:http://blog.cloudera.com/blog/2017/02/performance-comparing-of-different-file-formats-and-storage-engines-in-hadoop-file-system/ Zbigniew Baranowskiはデータベースシステムの専門家であり、CERNでセントラルデータベースとHadoopベースのサービスを提供、サポートしているグループのメンバーです。 このブログはもともとCERNの「Databases at CERN」ブログで公開されており、CERNの許可を得てここで公開されています。 トピックこの記事では、Apache Hadoopエコシステムで利用可能ないくつかの一般的なデータフォーマットとストレー

    Apache Hadoopエコシステムにおける、異なるファイル形式とストレージエンジンのパフォーマンス比較
    yuyhiraka
    yuyhiraka 2017/02/18
  • 1