PostgreSQLの運用管理にログの情報は不可欠ですが、PostgreSQLが出力するログは直接取り扱うのに適した形式とは言えません。ここではFluentdを使って運用管理に活用しやすい形にPostgreSQLのログを加工する方法を紹介します。 PostgreSQLの運用管理とログ データベースの運用管理には 死活監視、リソース監視 性能分析、チューニング バックアップ、リストア といったものが考えられますが、現状を把握しなければ何も対策できないので、まずは必要な監視を正しく行うことが重要です。PostgreSQLで監視に使える機能には稼働統計情報とログがありますが、今回はログに注目してみます。 PostgreSQLのログからわかること PostgreSQLが出力するログからは以下の様なことがわかります。 何らかの異常(エラー)が発生したこと 処理されたSQL チェックポイント、自動VA

こんにちは＠oko_changです。 前回はFluentdについて記載しましたが、今回はFluentdからElasticsearchにログを転送してKibanaで可視化するまでをまとめておきたいと思います。 環境概要 前回の環境にElasticsearchとKibanaを追加するイメージです。 CentOS6.5 Elasticsearchのセットアップ インストールは公式にあるようにYumのリポジトリを追加して簡単に出来ます。 javaが必要なので、それもインストールしておきます。 # rpm --import http://packages.elasticsearch.org/GPG-KEY-elasticsearch # cat >> /etc/yum.repos.d/elasticsearch.repo <<'EOF' [elasticsearch-1.0] name=Elasti

いまさら fluentdをはじめてみた Apache + Elasticsearch + Kibana なにそれ美味しいの？、その５FluentdElasticsearchkibana3CentOS6.5 いまさら fluentd はじめてみる５（完結編） 紆余曲折しましたが、やっと「もう何番煎じだ？」ぐらい同じレベルでインストールできました。いやはやインストールしたバージョンがbugあったおかげ？で勉強色々しました。これでようやっとスタートラインにたてましたｗ。で、本題「Apache + fluentd + Elasticsearch + Kibana」 ということで（本当に何番煎じ？）完結編です。 fluentd + Elasticsearch + Kibanaでデータ集計サーバを作る File descriptor, Kernel パラメータの設定 vm を２つ用意します。これは単に

こんにちは＠oko_changです。 すでに色々な方がまとめていますが、やっぱり自分なりにブログにまとめたほうが覚えやすいので今回はfluentdについて書きます。 Fluentdとは？ こちらを見るのがやはり早いですかね。 環境 どちらもCentOS 6.5を使用しています。 今回はFluentdを使ってローカルのファイルに保存しつつ、転送先にも保存するまで確認します。 転送元環境 インストール前 Fluentdについては色々な方がブログとかでもまとめているので、そちらを参考になりますが、公式ドキュメントもとても充実していました。 ここにFluentdをインストール前にするべき事が記載されていますので、設定します。 ※limits.confとsysctl.confにそれぞれ追記する # vi /etc/security/limits.conf root soft nofile 65536

目次 1. まえがき 2. pairsとシステム 3. kibana サンプルシステム構築 3.1 サンプルのサーバー構成例 3.2 fluentd 3.3 Elasticsearch 3.4 kibana 4. kibanaを使う 5. エウレカでの実際の活用事例 6. 〜終章〜 1. まえがき 1.1 対象者 気軽にデータ収集をしたいと思っている開発者 基本的なLinuxコマンドの理解がある方 1.2 この記事を読んで分かること fluentd x Elasticsearch x kibana を用いたアクセスログの収集・計測方法 pairsのシステム概要 私の好きなアニメ pairs高速化チーム 1.3 この記事を読んでも分からないこと 本格的な統計解析 恋人の作り方 1.4 自己紹介 はじめまして。サービス事業部の森川と申します。 エウレカには今年のはじめ頃にJoinしました。 エ