ECSのログ管理にFirelensを導入してみた - Gunosy Tech Blog
はじめに こんにちは。SRE部の板谷(@SItaya5)です。 Gunosyでは様々なプロダクトでECS(Amazon Elastic Container Service)を使用してタスクを実行しています。 ECSの起動タイプにはEC2とFargateの2種類がありますが、どちらのタイプも混在しています。 ログの送信先としては、主にPapertrailというサービスを使用しています。 しかし、Fargateで実行しているタスクに関しては、ログの送信先(Log Driver)に選択の余地がなく、Cloudwatch Logs一択でした。 そのため、EC2で実行しているタスクのログはPapertrailに送信されていましたが、一方のFargateで実行しているタスクはCloudwatch Logsに送信せざるを得ませんでした。 このように起動タイプ毎にログの送信先が分かれており、管理が煩雑にな
fluentdを導入時にまず知っておいたほうがよさそうなこと（インストール、監視、HA構成、チューニングなど） - Qiita
fluentdを使う時にまず知っておいたほうがよさそうなこと はじめに 朝からElasticsearchへのデータの投げ込み方を考えていました。 データベースやメッセージキューなどにデータを投げ込んでおいて、ニアリアルなバッチでElasticsearchに投げ込むよりも、fluentdを使う方が圧倒的に簡単で信頼性が高いものができますね。自分で作りこむのがバカらしくなりますね。 ということで、fluentd利用時に気を付けておきたいことについて調べてみました。内容は公式ドキュメントの内容をベースに自身で調べたことを追記しています。公式ドキュメントへのリンクも貼ってありますので適宜そちらをご覧いただければと。 環境 CentOS6.7 td-agent 0.12.19 Ruby2.2.2（リストアスクリプトで利用） Fluent-Logger(0.5.1) Elasticsearch2.1.
Fluentdの正規表現を攻略する - Qiita
formatのデバッグツール Fluentdのログの正規表現が正しいかはFluentularで確認しならが操作できる。 http://fluentular.herokuapp.com/ ただし、これはHerokuの無料プランで動いているらしく使用できないことも多いのでDockerからでもできる 作成方法 定義されたフォーマットを指定するか正規表現を利用します。 定義されたフォーマット一覧 fluentd側で予め10個の定義が用意されています。デフォルトのログの設定を利用している場合はこれらを使用することができると思われるので使用すると良いでしょう。 apache2 apache_error nginx syslog tsv csv ltsv json none multiline ただし、注意点としてこれは常に通用するものではなく、該当する場合にのみ使用することができます。 apache2
NginxのアクセスログをKibanaで可視化 - Carpe Diem
概要 Nginxのアクセスログを用いて可視化の流れをまとめます。 mappingは手動で設定します。 環境 Ubuntu 14.04 fluentd 0.12.19 fluent-plugin-elasticsearch 1.3.0 Nginx 1.4.6 Elasticsearch 2.1.1 Kibana 4.3.1 構成 IP 名前 役割 192.168.33.100 web Webサーバ。ログは転送 192.168.33.101 kibana Kibana。転送されたログをKibanaへ この構成のためにVagrantfileを以下のように編集します。 config.vm.define :web do |web| web.vm.network :private_network, ip: "192.168.33.100" web.vm.provider "virtualbox" do
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
