タグ

ログとシステム運用に関するshin16884のブックマーク (2)

  • Apache ZooKeeperのトランザクションログとスナップショットの運用と削除

    Zookeeperのトランザクションログの運用 Hadoopと組み合わせて使用されるZooKeeperは、タイミングが非常に重要な高可用性の分散協調システムです。NTPを設定してログの時刻ずれが無いように設定しておく必要があります。また、Zookeeperのトランザクションログとスナップショットは別のディスクドライブに保存することが望ましいとされています。ログが頻繁に書き込まれるため、I/O性能の良いSSDなどのフラッシュストレージに保存しておくことが望ましいです。これらはdataDirおよびDataLogDirプロパティによって設定が可能です。Zoopkeeperのトランザクションログが一定の設定値(デフォルト64MBまたは100,000回)以上に書き込まれると、znodeツリーのメモリダンプであるスナップショットが作成されます。スナップショットは基、それ以前のトランザクションログに代

    Apache ZooKeeperのトランザクションログとスナップショットの運用と削除
  • Logstashによるログ収集システムの構築

    サーバーセットアップ 公式ドキュメントに従ってKibana,elasticsearch,Indexder,Brokerをセットアップします。 Kibanaのインストール 公式サイトからアーカイブをダウンロードし、ApacheのDocumentRootに展開します。 $ curl -sL https://download.elasticsearch.org/kibana/kibana/kibana-3.0.0milestone5.tar.gz | sudo tar zxf - -C /var/www/html $ sudo mv /var/www/html/kibana-3.0.0milestone5 /var/www/html/kibana EstaticSearchのインストール 公式サイトからCentOS用のRPMパッケージをダウンロードし、インストールします。 $ wget -q -

    Logstashによるログ収集システムの構築
    shin16884
    shin16884 2014/11/27
    kibanaとの連携が簡単そう。fluentdとどっちがいいのか。
  • 1