開発メモ#6 : ログの取り扱い : GrowthForecast, Amazon S3, Treasure Data で心労ゼロ - naoyaのはてなダイアリー
開発メモ#6 です。前回から少し間があいてしまいました。 開発メモ#2 : AWS でのホスト / クラウドネイティブなデプロイ - naoyaのはてなダイアリー で書いたように、EC2 へのアプリケーションのデプロイにあたっては Elastic IP の利点を活かしてカジュアルにホストを入れ替えまくっています。ちょっとこのデプロイは慎重になりたいな、と思ったらスナップショットからインスタンスを立ち上げては切り替える、の繰り返し。 この運用をしていると、スナップショットとの差分ができやすいのは chef-solo で吸収するというのが前回、前々回のはなし。 もう一点問題があります。アクセスログやアプリケーションのログです。フロントエンドのサーバをあっちこっち切り替えているうちに、そのままではログが分断されてしまう。ホストを Terminate しようものならログは消失してしまいます。 この
Fluentdってなんじゃ？
今回はfluentdについて触れてみたいと思います。 普段サーバーの運用をしていて、規模が大きくなりサーバーが分散されるとWebサーバーやアプリケーションのログが各サーバーに散在することになり、ユーザーからの問い合わせや集計などのためにログをかき集めたりする必要が出てきます。 fluentdはイベントログをJSONフォーマットで転送して一箇所に集約するためのツールです。 集計などを行う場合、Apacheなどの生ログはテキストデータなのですが、fluentdを経由しJSON化することで、ログのデータをオブジェクトとして扱うことが出来るので、DBに入れてフィルタをかけて集計なども簡単に行えます。 また、fluentdは入力元となるログの種類や出力先の指定をプラグイン形式で様々なフォーマットに対応して、それぞれを組み合わせることで数多くの用途に答えることができます。 例えば以下のような入出力がで
Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog
追記(2/8 11:30) id:naoyaによる一連のまとめが【今北産業】3分で分かるLTSV業界のまとめ【LTSV】 - naoyaのはてなダイアリーにあります。 また、仕様などをまとめるために http://ltsv.org/ を立ち上げました。 追記ここまで Labeled Tab Separated Values (LTSV) というのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからfluentd、Apache Hiveまで幅広く便利に使えています。 ログフォーマットに期待されることは、 フォーマットが統一されている → 共通のツールで集計し易い 新しいフィールドの追加が容易 → サー
Apacheログに色を付けて快適tail生活 - y-kawazの日記
ツイッターで「Apacheログをtail中にステータスコード部分だけに色つけしたい」ってのを見たので作ってみた。 #!/bin/sed -f ## MEMO # [0m reset # [1m bold # [3m italic # [4m underline # [5m blink # [30m black # [31m red # [32m green # [33m yellow # [34m blue # [35m magenta # [36m cyan # [37m white s/\(HTTP\/1..\"\) \(2[0-9][0-9]\) /\1 \x1b[34m\2\x1b[0m / s/\(HTTP\/1..\"\) \(3[0-9][0-9]\) /\1 \x1b[32m\2\x1b[0m / s/\(HTTP\/1..\"\) \(4[0-9][0-9]\) /\1
misc./ProFTPD - misc.
xferlogの見方 xferlogはFTPサーバデーモンからのログ情報を含んでいる。 サーバエントリは単一行で構成されていて、全てのフィールドはスペースによって区切られている。 ↑ エントリ サーバエントリは次の形式で記載される current-time transfer-time remote-host file-size file-name transfer-type special-action-flag direction access-mode username service-name authentication-method authen-ticated-user-id completion-status ex) Tue Apr 15 07:43:50 2008 1732 nttkyo667098.tkyo.nt.ftth.ppp.infoweb.ne.jp 3544
ログローテーションはrotatelogsで、圧縮はpbzip2で
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. Apache HTTP Serverで日ごとに別のファイルにログを出力するのは、標準添付されているrotatelogsでできるのですが、意外と知られていないようです。アクセスログならこんな感じです。 CustomLog "|/インストール先/bin/rotatelogs /出力先/access_log.%Y%m%d 86400 540" combined マニュアル通りなら、この設定ではrotatelogsが起動してから24時間で出力先のログファイルが切り替わりそうに見えます。しかし、実際にはrotatelogsはtime(2)の返す値を86400秒で丸めてから開始
Windows 監査ログの出力 イベントログ 監査ポリシー | Windows イベントログ システム,アプリケーションのエラーログ
概要 イベントログ(セキュリティ)に監査ログを出力するためには、 ・監査ポリシーの設定 ・監査エントリの追加 という２つの作業が必要です。 監査ポリシーの設定 監査ポリシーの設定は「ActiveDirectoryのグループポリシー」または「ローカルセキュリティポリシー」で設定します。 ActiveDirectoryのグループポリシーでは ドメイン、OU(組織単位)で ポリシーが設定できます。ドメインコントローラの監査を行う場合はこちらを使用します。 ローカルセキュリティポリシーでは 該当サーバー(またはクライアントPC)のポリシーが設定できます。ファイルサーバーなどの監査を行う場合は こちらを使用します。 ローカルセキュリティポリシーの設定方法 ・該当サーバーの管理者権限を持ったユーザーでログオン ・[スタート]→[すべてのプログラム]→[管理ツール]→[ローカルセキュリティポリシー]をク
各種ログファイル
/var/log/boot.logには起動メッセージが出力される。 Feb 17 00:32:05 hogehost syslog: syslogd startup succeeded Feb 17 00:32:05 hogehost syslog: klogd startup succeeded Feb 17 00:32:05 hogehost random: Initializing random number generator: succeeded Feb 17 00:32:06 hogehost proftpd: proftpd startup succeeded Feb 17 00:32:02 hogehost ifup: done. Feb 17 00:32:02 hogehost network: Bringing up interface eth0: succeeded
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fluentd を使った大規模ウェブサービスのロギング - 2nd life (移転しました)
「ネットのしすぎ」「Twitterのしすぎ」をログで把握する － ＠IT自分戦略研究所