[B! ログ] fukumuraのブックマーク

ログ収集プラットフォーム開発におけるElasticsearchの運用

齋藤智之 (LINE株式会社開発3室) ログ収集プラットフォーム開発におけるElasticsearchの運用 LINE Developer Meetup in Tokyo #27 -Elastic-の発表資料です https://line.connpass.com/event/76226/Read less

fukumura 2018/01/31

メモ。

リンク

柔軟なログ収集を可能にする「fluentd」入門 | さくらのナレッジ

複数台のサーバーやクラウド環境を組み合わせてのサービス運用においては、ログの収集方法に工夫が必要となる。こういった場合に有用なのが、さまざまなログの収集手段を提供するfluentdだ。今回はfluentdのアーキテクチャやそのインストール/設定方法、基礎的な設定例などを紹介する。さまざまな方法でログを収集できるfluentd 今回紹介するfluentdは、Treasure Dataが開発するログ収集管理ツールだ（図1）。オープンソースで公開されており、Linuxや各種UNIXで動作する。図1 fluentdのWebサイトログ収集のためのソフトウェアとしてはsyslogdやsyslog-ngなどが有名だが、fluentdがこれらと異なる点としては、以下が挙げられる。さまざまなソースからのイベントをさまざまな媒体に出力できる fluentdの大きな特徴としては、ログの収集方法やログの記

fukumura 2013/12/11

リンク

ERRORログをメールで通知する　～tailコマンド編～ - HDEラボ

By Takehiko Kodama on April 1, 2008 5:52 PM | Permalink | Comments (0) | TrackBacks (0) Linuxを使っていれば、ログファイルのようにどんどん増え続けるファイルの内容を視認するために、「tail」コマンド「-f」オプションを使用して監視する場面が多いと思います。「tail -f」コマンドは監視対象のファイルのサイズが小さくなっても自動末尾を検知し、そこから読み込みを再開します。さらに、「--retry」オプションを使用すれば、監視対象のファイルが削除・リネームされても同じ名前のファイルが作成されると再び監視を開始するので、ログのローテーションにも対応できるというわけです。この「tail」を利用すれば、簡単なスクリプトを使って、検知したメッセージをメールで通知ということも可能になります。サンプルの

fukumura 2012/02/14

リンク

warn() で吐かれるログを捕まえて投げる - 酒日記はてな支店

Perl では $SIG{__WARN__} という疑似シグナルハンドラを使って、warn() で出力されようとする内容をトラップして処理することができます。 package MyWorker; my $logger = Fluent::Logger->new; sub work { my $job = shift; local $SIG{__WARN__} = sub { my $msg = shift; # warn() で出力される文字列が渡ってくるので logger で送る $logger->post( "job" => { jobid => $job->jobid, # jobid で検索できるように message => $msg, }, ); }; # job の処理 # warn("Error!") } 最初からログを何らかのオブジェクトに渡す仕組みを入れて作っていればよか