Graylog ではじめるログ管理 - クックパッド開発者ブログ
こんにちは。インフラストラクチャー部 セキュリティグループの星 (@kani_b) です。 主に "セキュリティ" や "AWS" といったタグのつきそうなこと全般を担当しています。 Fluentd などのデータコレクタ、Kibana やその他 SaaS による可視化、Kafka, Kinesis, Spark などのストリーム処理といった様々な分野で「ログの処理」がホットですが、アプリケーションのログ (行動ログなど) に関する話題が多くを占めています。 そうしたログの他に重要なのが OS や各種ミドルウェアのシステムログです。これらはトラブルシューティングであったり、セキュリティ上の問題を見つけたり、といったことに使われますが、最低限 syslog でどこかに集約しているだけ、といった例をよく見かけます。 これらのログをきちんと検索可能にし、分析することで、今まで気づかなかったような問
CentOS flow-toolsの設定
ホーム CentOS6 OTRSのインストール CentOS6 VNC Serverのインストール CentOS6 iperfでスループット計測 CentOS6 IPv6アドレスの設定および無効化 CentOS6 IPv6のスタティックルートの追加 CentOS6 スタティックルートの追加 CentOS6 2TB以上のHDを使う カーネル起動の視覚化 カーネル起動オプション CentOS6 Quota CentOS6 Mondorescue CentOS6 NTP CentOS6 Kdump CentOS6 NIC Bonding CentOS6 SNMP Trap Manager CentOS6 ext4ファイルシステム CentOS6 yum CentOS6 リソース管理 CentOS6 iptablesによるパケットフィルタ CentOS6 Tripwire CentOS6 chkr
Lossy Countingを実装してみた - 省メモリな頻度計測 - 唯物是真 @Scaled_Wurm
大規模データで頻度を数えると、欲しいのはよく登場するアイテムの情報なのに、ほとんど出現しないアイテムの種類数が非常に多くて、それらがメモリを大量に必要としてしまうという問題がある これに対してアイテムの種類数の最大値に制限を加えたり、頻度に誤差を許すなどの条件のもとで、省メモリに頻度計測を行う方法がいくつも提案されている これらについては以下の記事が詳しい 大規模データで単語の数を数える - ny23の日記 今回はそういった手法の一つであるLossy Countingを実装した 日本語では上記の記事と以下の記事が詳しい [を] 誤り許容カウント法(lossy count method)のサンプルプログラム [O] イプシロン劣シノプス性を保持した頻度カウント lossy countingアルゴリズム - 機械学習の「朱鷺の杜Wiki」 元論文はこちら。年を見ると結構前なので、現在ではもっと
-- Junky's Dive -- :: note :: FreeBSD :: ログトラップの仕込み
あるログファイルに特定のパターンや特定の文言が出たら それをトラップして対応するアクションを行わせたい… というような仕組みを、 一般にそう言うかどうか知らないが、ログトラップと呼ぶことにする。 出来合いのツールとしては swatch が定番である。 余裕があれば｜面倒クサければ、自作してもよい。 どのようなツールを使うとしても、決めておくことは以下の通り。 監視対象ファイル 引っかけたい文字列 引っかけたあとの挙動 どのユーザで処理するか swatch の設定 導入は依存モジュールの判断が面倒なので、ports から入れると楽だ。 # cd /usr/ports/security/swatch # make install clean あとは上述の４項目を仕込んでいく。 「監視対象ファイル」と「どのユーザで処理するか」は /etc/rc.conf にて設定する。 ユーザは指定しなければ
Mojoliciousのログにパッケージ名と行数も出力してみた - 新大阪でコワーキングスペースを主宰しているPerlプログラマのブログ
2012/11/09 Mojoliciousのログにパッケージ名と行数も出力してみた Mojoliciousを使っていて、時々ログが何処から書き出されたのかを把握したい場合があります、よね？ 私はあります。 デバッグ情報を沢山出力していると、何処の情報だったのかを簡単に把握するのが難しくなります、よね？ それで、Mojoliciousにそんな機能がないかなー、と探っていたのですが、どうにも無さそうなので、作ってみました。 と言っても、pluginではなく、startupの中にredifineしてやりました。 とりあえず、パッケージ名と行数がわかれば見当はつくということで。テンプレートの中のエラーはわかりませんが。 一応、debug仕様の時だけ実行するようになっています。 以下のプログラムは、$ mojo generate app MyappPLという感じで作った後のlib/MyappPL.
App::YG - ログをう゛ぁーてぃかるぱみゅぱみゅしちゃう！！ - Articles Advent Calendar 2012 Hacker
やあハッキングモンスターのみんな、元気かーい？ ぼくは普通です。 きょうはみんなでログをう゛ぁーてぃかるぱみゅぱみゅしちゃうぞ！あ、こんにちは bayashi です。 さて、ログは見てるかい？cat してるかい？ tail してるかい？ GB単位のログを vim で開いてフリーズさせてやいないかい？ログは吐いたら終わりじゃいけないぜ！ちゃんとうぉっちしないと鬼がでちゃうぞ！！ とはいえ、そんなログも、たいていは1行につらつらと書かれてて見るのがつらいね！！例えばこんなやつだ。 $ tail log 127.0.0.1 - bayashi [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326 "http://www.example.com/start.html" "Mozilla/4.0 (compatible
fluent-agent-lite と td-agent で、小さくはじめる fluentd - Studio3104::BLOG.new
fluentdを使ってみたいけど、「JSONでシリアライズしなくていいのに・・・生でいいのに・・・」と思ってなかなか使い出せないというケースはままあるのではないでしょうか。 こんなときに困ってしまうからですよね。 rsyncやscpで毎日深夜にやってくる生ログを解析するスパゲッティスクリプトたちを使えなくなってしまう アプリケーションサーバにログをパースさせるための負荷をかけたくない それでも使ってみたい、現存の古臭い解析機構をアクティブにしたまま、徐々にfluentdによる先鋭的なログ解析を始められたらいいなと思っている方、 fluent-agent-lite と td-agent で、fluentd を小さくはじめてみたらいいと思います。 結論を先に言うと、fluent-agent-lite + fluent-plugin-file-alternative + fluent-plugi
CGI,FCGIの中の変数を、apacheのLOGに安全に出す方法 - Studio3104::BLOG.new
PHPのapache_note関数みたいなのperlでやりたいけどそういうモジュールないかなぁmod_perlを使わなくていい手段に限るです 2012-08-02 13:47:15 via Hotot Twitterでこんな発言をしていたら、apacheモヒカンの人たちが願いを叶えてくれました。 皆さん本当にありがとうございます。 @toku_bass++, @xtetsuji++, @kazeburo++ やりたいこと ・ mod_fastcgiな環境で動いているperlスクリプト内の変数を、apacheのLOGに安全に出力したい。 --> 『LogFormat "・・・%{HOGE}n"』のようにフォーマットを定義して、LOG出力したい。 まぁ要は、phpのapache_note関数みたいなことをperlのFCGIでやりたかったわけです。 PHP: apache_note - Manu
Apacheログに色を付けて快適tail生活 - y-kawazの日記
ツイッターで「Apacheログをtail中にステータスコード部分だけに色つけしたい」ってのを見たので作ってみた。 #!/bin/sed -f ## MEMO # [0m reset # [1m bold # [3m italic # [4m underline # [5m blink # [30m black # [31m red # [32m green # [33m yellow # [34m blue # [35m magenta # [36m cyan # [37m white s/\(HTTP\/1..\"\) \(2[0-9][0-9]\) /\1 \x1b[34m\2\x1b[0m / s/\(HTTP\/1..\"\) \(3[0-9][0-9]\) /\1 \x1b[32m\2\x1b[0m / s/\(HTTP\/1..\"\) \(4[0-9][0-9]\) /\1
ログ解析ツールを作る - forest book
ログ解析ツールを作っててノッテきてつぶやいたら、 ログ解析ツールを python で書いているときの嬉しさを誰かに共有したい、本当に簡潔に書けて便利なんだよ 2010-11-18 20:29:14 via TweetDeck @t2y 例題とかみてみたいです。 2010-11-18 22:37:54 via TwitBird to @t2y と言われたのでオプションで指定した条件のログを抽出する簡単なサンプルを作ってみました。あくまで私はこんな感じで実装しましたが、他にもっと良いやり方があったら教えてくださいm(_ _)m 私の使い慣れている言語が Python と bash シェルスクリプトと C 言語(嘘です、慣れてません！)しかないので、この中で言えば Python しか選択肢がないですよねというのが本当のところでした(^ ^;; 先ずはログ解析のサンプルプログラムを紹介します(要:
MySQLのスロークエリログを別サーバに転送する - （ひ）メモ
複数台あるMySQLのスロークエリログを、いちいちDBサーバにログインして読むのがめんどうくさい log_output = FILE,TABLE としてテーブルに入れてリモートからSELECTできるようにするのは？ → テーブルに入れた場合、query timeとlock timeの型がTIME型になり精度が秒になってしまうのでダメ ファイルに出力したものをログサーバーにどうにかして飛ばす 10分おきとかにscpする →これでできるのはわかるけど、他にいい方法ないかなぁ syslogで飛ばすのはどうか (id:stanaka++) →srd!! スロークエリログに限らず、追記されるファイル全般に適用できると思います。 rsyslogの方がいけてるそうですが、自分が使ってるのは syslog-ng 2.0.9 なのでそ の設定例です。 DBサーバ # follow_freq(180) で 3
screenでシリアルコンソール接続 : しげふみメモ
2008年01月30日00:09 カテゴリLinux screenでシリアルコンソール接続 Linuxでシリアルコンソールに接続するには、昔から cu コマンドを使っていたのですが、screen でもできるんですね。 以下の記事を読むまで知りませんでした。 Linuxでシリアルコンソールを使う - builder by ZDNet Japan 例えば、 # cu -l /dev/ttyS0 -s 115200 で接続していたのなら、screen では以下でOKです。 # screen /dev/ttyS0 115200 cu はデフォルトではインストールされていない事が多いかと思いますが、screen だと大抵インストールされているのもいいですね。 あと、screen なら、コンソールのログを取ったり、デタッチ、アタッチでのセッション管理が嬉しい。 例えば、次のような使い方。 /etc/s
AWKのススメ - クックパッド開発者ブログ
はじめまして。インフラチームの菅原といいます。 今年の7月に入社してから、コンソールとにらめっこする毎日を過ごしています。クックパッドのようにアクセスの多いサイトのサーバを扱うことが今まで無かったので、いろいろと勉強になることが多いです。 さて、インフラチームではサーバの状況をモニタリングして、サーバに問題がないかを常に把握するようにしています。そのため日常的にtailでログを追いかけているのですが、そんなときはAWKが非常に便利なことに気付き、最近はかなりAWKにハマっています。 今回は絶賛マイブーム中のAWKの活用例をご紹介したいと思います。 なぜAWKなのか？ 残念ながらAWKの知名度はあまり高くないようで、社内でも「なぜRubyでやらないのか？」と聞かれることがありました。僕も入社するまではcutの代わりぐらいにしか使っていなかったのですが、あるときログ出力の整形に使って以来、AW
多彩なLog Parserの出力機能 ― ＠IT
第2回 多彩なLog Parserの出力機能：無償ながら強力なログ解析ツールLog Parserを活用する（1/4 ページ） 連載目次 前回は、Log Parserの概要紹介と入手、インストール方法、初歩的な使い方について説明した。前回のサンプルでは、Log Parserを使ってシンプルなテキスト形式のデータを出力した。引き続き今回は、Log Parserからチャート（グラフ）を作成するなど、Log Parserが持つ多彩な出力機能の一部をサンプルとともにご紹介しよう。 Log Parserからチャートを出力する Log Parserでは、入力データを単純なテキスト・ファイルとして出力する以外に、チャート（Microsoft Office Graph）を出力したり、SQLサーバにデータ転送したり、テンプレート・ファイルを利用してHTML出力を行ったりできる。これらの具体的な使い方について説
Log Parserでログを統合的に扱い運用保守に役立てる（実践編）
はじめに Webサーバやアプリケーションから重要なログが出力されていたとしても、そのログの情報を見落としてしまうことがあります。そこで、本稿では、そのままでは見にくいログファイルから見栄えの良いグラフやHTMLを生成したり、危険度の高いエラーが出力されたときに自動でメールを送信する方法について紹介します。 本稿は、別稿『Log Parserでログを統合的に扱い運用保守に役立てる（基本編）』の続編となっています。Log Parserに関する概要およびインストール方法については、別稿の内容を参照してください。 対象読者 Windows、Windows Serverで開発や運用を行っている方を対象としています。 必要な環境 本稿の内容ならびにダウンロードファイルのクエリを実行するためには、Log Parserをインストールする必要があります。 ダウンロードファイルの概要 ダウンロードファイルには
O'Reilly Media - Technology and Business Training
More than 5,000 companies count on our digital courses and more to guide their teams through the tools and technologies that drive business outcomes. We can help yours too. New AI policy for O’Reilly authors and talent O’Reilly president Laura Baldwin shares the company’s ethical approach to leveraging GenAI tools and ensuring O’Reilly experts are compensated for their work. See it now It’s time t
Snare Lite (SIEM & Logging Software)
ATTENTION: Snare Lite is unsupported legacy software. While it will remain a part of the SourceForge community, it is no longer secure and compliant. For up to date Snare software check out Snare Enterprise. https://www.snaresolutions.com/try-snare-for-free/ Snare Enterprise was created to keep up with the fast paced security software market. It started with the desire to create premium logging an
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
yebo blog: Splunk 4.0がリリース
Microsoft Corporation
Home - Snare