Cybozu Meetup #6 大規模サービスを支える名脇役たちでの発表 https://cybozu.connpass.com/event/61329/
サイボウズのサービスを支えるログ基盤
Cybozu Meetup #6 大規模サービスを支える名脇役たちでの発表 https://cybozu.connpass.com/event/61329/
ログをカラフルにしてもっと見やすく！『ccze tool』 | 俺的備忘録 〜なんかいろいろ〜
今回は、catやtailと組み合わせてログをカラフルに色分けし見やすくする『ccze tool』を紹介する。 1.インストール まずはインストール。 以下のコマンドを実行する。 sudo yum install ccze --enablerepo=epel (CentOSの場合) sudo apt-get install ccze (Debian/Ubuntuの場合) 2.コマンドの実行 さて、それでは実際にコマンドを実行してみよう。 tailコマンドで、「/var/log/messages」を確認する。 tail /var/log/messages | ccze -A 上半分はcczeを利用していない状態。 下半分でcczeを用いている。 うーむ、確かに見やすい… むろん、「tail -F」でも閲覧可能だ。 tail -F /var/log/messages | ccze -A ちなみ
Fluentdとログ収集のパターン - Go ahead!
「ログを集めて保存する」と言うのは簡単だけど，ログ収集の構成にはいくつか方法があり，勉強会などでちょくちょく聞かれるので，いくつかのパターンについて書く． 「俺はもうバリバリログ収集やってるぜ！」という人は多分すでに知っていることが書かれているので，タブを閉じて良い． ここではログコレクタにFluentdを想定しているが，他のログ収集プロダクトにも適用出来るはず． ただ，Fluentdはタグベースのルーティングを持ち，単体でもキューのように動作させることが可能で，既存のものより複雑な問題を解決しようとしているので，少し工夫が必要かもしれない． Fluentdそのものについては公式ドキュメントや，Fluentdとはどのようなソフトウェアなのかを参考に． クライアントから直接保存する いきなりFluentdを使わないパターン．JavaScript SDKを提供している解析サービスやモバイル端末
fluentdの効果的な活用例と安定運用のポイント
fluentdの効果的な活用例と安定運用のポイント：今さら聞けないfluentd～クラウド時代のログ管理入門（3）（1/3 ページ） 効率良く、意味のあるログ管理を実現するツールとして注目されている「fluentd」。最終回では、実際の利用シーンを想定し、より効果的なfluentdの利用法を紹介します。 第1回、第2回でfluentdを使って基本的なログ管理が実現できるようになったのではないでしょうか。fluentdはプラグインの組み合わせにより更に効果を発揮します。最終回では、実際の利用シーンを想定し、より効果的な利用法を紹介します。 fluentdの具体的な活用例 実際の利用シーンを想定した2つのfluentdの活用例を紹介します。 大量のログを分析し、「意味のある情報」として管理する タグデータを効果的に活用し、ログデータのフィルタリング管理を行う 1.大量のログを分析し、「意味のあ
ELBがアクセスログを出力できるようになりました！ | DevelopersIO
はじめに ついにELBがアクセスログを出力できるようになりました！(Elastic Load Balancing Announces Access Logs) ということでやってみました！ 設定 [Load Balancers]画面を開き、設定したいELBを選択します。画面下部の[Description]タブの一番下に[Access Logs]という項目があります！ なおこの項目は新しいManagement Consoleでしか表示されません。以前のManagement Consoleを使用されている場合は、画面右上に青い吹き出しのようなアイコンが表示されていますので、クリックし「Try the new design」の[Click here]リンクをクリックすると、新しいデザインのManagement Consoleに切り替わります。 さて、[Access Logs]の[Edit]リンク
fluentd(td-agent) の導入 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 Rubyfluentdtd-agentlog はじめまして。開発チームの yuzuki です。 7/1に弊社の 決済サービスPaid（ペイド） のサーバー群へ ログ集約の改善を目的として導入した fluentd(td-agent) の導入手順などをまとめてみました。 ログ集約を改善する動機 弊社ではこれまで（今も大部分は） cron + rsync を使い、週次バッチでWebサーバー上のログファイルをファイルサーバーへ転送することで一応の集約をさせてきました。 （集約というよりはバックアップといった意味合いの方が強いかもしれません） サーバー台数が少なかった頃はこの仕組みでも特に大きな問題はなかったと思いますが、 サービスの成長にあわせて、サーバー台数が増え
![fluentd(td-agent) の導入 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/13cbb956f277bb369e639692ef1987a2efa4d0df/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2018%2F04%2Ff0e4ac3a.png)
ログファイルの圧縮方法
圧縮レベル2と3では、bzip2よりずっと短い所要時間で高い圧縮率が得られています。興味深いのはレベル4で、所要時間が大きく増えたのに圧縮率が下がっています。xzはレベル4からLZ法の一致文字列を探すアルゴリズムが変わるので、これが裏目に出ているようです。 bzip2より2割以上高い圧縮率が得られるレベル7以上では、所要時間は5倍以上になります。ログファイルの圧縮方式が混ざるのは何かと面倒なので、5倍の所要時間でこの程度の圧縮率の差ではxzに変更する気にはなれないです。 圧縮率はそうでもないですが、xzの伸張速度の速さはとても魅力的です。デフォルトの圧縮率のファイルを伸張するのに、bzip2が1分22秒かかるのに対してxzは25秒しか掛かりません。ログを集計するときに伸張速度が3倍近く速いのはとても有利です。 もし圧縮方法を決め直せるならxzにするかもしれません。適宜レベルを調節してbzi
Kibana + ElasticSearch + fluentd を試してみた
こんにちは。@jedipunkz です。 自動化の流れを検討する中でログ解析も忘れてはいけないということで ElasticSearch を使いたいなぁとぼんやり考えていて Logstash とか Kibana とかいうキーワードも目 に止まるようになってきました。 ElasticSaerch は API で情報を検索出来たりするので自動化にもってこい。バックエ ンドに Logstash を使って… と思ってたのですが最近よく聞くようになった fluentd をそろそろ真面目に使いたい！ということで、今回は Kibana + ElasticSearch + fluentd の組み合わせでログ解析システムを組む方法をメモしておきます。 参考にさせて頂いた URL http://memocra.blogspot.jp/2013/04/kibanakibanaelasticsearchfluent
S3とFluentdを用いた効率的なログ管理 | SmartNews開発者ブログ
ゴクロの大平です。 私にとって一番大事で替えの効かないミュージシャンはさだまさしさんですが、私にとってクラウドコンピューティングのサービスの中で一番大事で替えが効かないサービスはS3です。 多種多様なAPIを用いて柔軟にファイルの操作が出来る事や、”99.999999999％”と謳われている高い耐障害性、S3にあるデータをElastic MapReduceやRedshiftなどを用いて手軽にデータ解析を行える基盤が提供されていることなど、あまりに便利すぎてS3の代替となるサービスを探しだすのが難しい状態です。 もちろん多くのAWSユーザーが同じようにS3の便利さを享受していると思いますし、インターネット上でも多くのブログ等でその魅力が語られています。その中で本記事は既に存在する記事と似たような内容を書いてしまうかもしれませんが、弊社なりのS3の使い方についてご紹介したいと思います。 なお
fluentd で集めたログを Splunk で可視化する - 技術ノート
ウェブアプリケーションのログ収集には fluentd を使うとして、集めたログを検索したりグラフ化するには、別途システムを組む必要がある。 最近だと、オープンソースの Kibana というのが流行っているようで、公式ページにも紹介がある。 Free Alternative to Splunk Using Fluentd | Fluentd ここで比較対象とされている "Splunk" だけど、これを fluentd と組み合わせて使っている人は多くないようなので、軽く紹介しておきたい。 Splunkとは？ 商用のログ収集＆検索エンジンとしてはメジャーな製品で、 独自のクエリ言語でログを検索、加工、集計、グラフ化する あらかじめダッシュボードを作っておいてPDFでレポートを送る 検索条件を設定しておいてアラートを飛ばす といったことが出来るようになっている。 詳しくは公式のビデオでも。 Sp
Fluentd(td-agent)のインストールとPythonからの利用 - 偏った言語信者の垂れ流し
Fluentdを使おうと思って調べてる。 Fluentdを使うと、各種ログを集約したり、いろいろな出力先に振り分けたりが簡単にできる。 Rubyで実装されていて、gemでインストールすることができるけど、今回はRubyの実行環境も含めてパッケージ化されたtd-agentを使う。 GitHub - treasure-data/td-agent: This repository is OBSOLETE, check gh/treasure-data/omnibus-td-agent バージョンはUbuntu 12.04(precise)、Python 2.7、td-agent 0.10.35、fluent-logger-python 0.3.3。 ドキュメントがあるので、この通りでよさそう。 http://help.treasure-data.com/kb/installing-td-agen
fluentdを使ってS3へログを送る - サーバーワークスエンジニアブログ
テクニカルグループの宮澤です。 今回は、fluentdとS3を使ってS3にログをアーカイブする手順を紹介します。 fluentdとは、ログを収集し格納するためのログ収集基盤ソフトウェアです。 fluentdに読み込まれたログはJSON形式に変換され、指定の場所にアウトプットされます。 ※fluentdの安定稼働版はtd-agentとなります。 fluentdのインストール リポジトリの追加 __| __|_ ) _| ( / Amazon Linux AMI ___|___|___| https://aws.amazon.com/amazon-linux-ami/2013.03-release-notes/ $ sudo vi /etc/yum.repos.d/td.repo --- [treasuredata] name=TreasureData baseurl=http://packa
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービス改善はログデータ分析から
MacのキーボードやマウスのログをKibanaで可視化する - Qiita
excale.net
Clojureによるログ収集と解析
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ