イベントログ収集ツール fluent リリース！ - Blog by Sadayuki Furuhashi
こんにちは。Treasure Data の古橋です^^; 先日の Treasure Data, Inc. 壮行会 で、イベントログ収集ツール fluent をリリースしました！ Fluent event collector fluent は syslogd のようなツールで、イベントログの転送や集約をするためのコンパクトなツールです。 ただ syslogd とは異なり、ログメッセージに テキストではなく JSON オブジェクト を使います。また プラグインアーキテクチャ を採用しており、ログの入力元や出力先を簡単に追加できます。 Twitterでも話題沸騰中です：イベントログ収集ツール #fluent 周りの最近の話題 背景 「ログの解析」は、Webサービスの品質向上のために非常に重要です。Apacheのアクセスログだけに限らず、アプリケーションからユーザの性別や年齢などの詳しい情報を集め
第1回 ログって、そもそも何？
あらゆるものがデジタル化されてきた今、ITを介したトランザクションのすべてが“ログ”として残るようになっています。とにかく溜まっていくログですが、視点さえ明確にもって解析すれば、自ずと色々と“語り出す”のです。本連載では、ログの本質をつかむと同時に、ログ活用の最新動向を解説します。第1回は、そもそも「ログって何」というところから始めましょう。 京大・入試事件を早期解決させた「ログ」 2011年2月末に京都大学などで起こった携帯電話を使ったカンニング事件は記憶に新しいところです。同事件において犯人を特定するうえで大きなカギとなったのがIPアドレスでした。デジタルネットワークの機器を利用するということが、どのようなことであり、その裏にどのような情報、すなわち「ログ」が蓄積されていくのかということが、一般の人々にも良く理解できる事例の一つになりました。 「ログ」を辞書で引くと、「航海日誌、コンピ
Logstash：データの一元化、変換、保管 | Elastic
オブザーバビリティも、セキュリティも、検索ソリューションも、Elasticsearchプラットフォームならすべて実現できます。
MultiTail
General info What is it in short? MultiTail follows files in style, it is tail on steroids. Can you elaborate on that? MultiTail lets you view one or multiple files like the original tail program. The difference is that it creates multiple windows on your console (with ncurses). It can also monitor wildcards: if another file matching the wildcard has a more recent modification date, it will automa
もうめんどくさいからtwitter.comをログストレージに使うことにした - 2010-04-29 - Web屋の人の日記 || WebJourney 開発ログ
ログの設定とかアラートの設定とか、、いろいろあるとは思うんだけれど、自宅のサーバー運用でわざわざファイルに出すとかsyslogに出すとかgrowlで通知とかmailで通知とか、、、もう面倒なので、twitter 全部飛ばすことにしました。 ソース: http://github.com/yssk22/tweethandler パッケージ情報 http://pypi.python.org/pypi/tweethandler/0.1 今年に入ってPythonをやらなければならなくなった、ということで、はじめてのPythonパッケージ作りをやってみました。 OAuthで認証しておいて、emit するときにupdate_statusするだけです。 尚、同じログが大量にでる場合はtwitterが自動的にブロックしてくれますw ログレベルに応じてDMにするとかmentionにするとかいろいろありそうです
Rails で運用しているサービスのログをローテートする方法 : 僕は発展途上技術者
運営している某サービスが落ちていてあせったのだが、なんのことはない、約3年間そのままだった Rails の production.log が超巨大ファイルになっていたのが原因でした。 Log Rotation for Phusion Passenger | overstimulate で紹介されている通りに設定し、ログを毎日ローテートするようにしました。 以下の内容で、/etc/logrotate.d/passenger というファイルを作成、 /home/deploy/app/shared/log/*.log { daily missingok rotate 30 compress delaycompress sharedscripts postrotate touch /home/deploy/app/current/tmp/restart.txt endscript } ちゃんとロー
gmane.org - gmane リソースおよび情報
gmane.org は、あなたがお探しの情報の全ての最新かつ最適なソースです。一般トピックからここから検索できる内容は、gmane.orgが全てとなります。あなたがお探しの内容が見つかることを願っています！
nginx の logrotate - ぐだぐだ日記
「ローテーションするスクリプト書いて、cronで回す」か、「logrotateに任せる」かのどちらか。 スクリプト各場合は以下の通り。 $ mv access.log access.log.0 $ kill -USR1 cat master.nginx.pid $ sleep 1 $ gzip access.log.0 # do something with access.log.0 via http://wiki.nginx.org/NginxLogRotation logrotateを使う場合は、/etc/logrotate.d に以下の設定を追加。 postrotate の2行目はファイルの日付がrotateした日になるので、無理矢理前日日付に変更しているだけです。 /var/log/httpd/access.log { daily dateext rotate 365 missin
ログローテーションはrotatelogsで、圧縮はpbzip2で
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. Apache HTTP Serverで日ごとに別のファイルにログを出力するのは、標準添付されているrotatelogsでできるのですが、意外と知られていないようです。アクセスログならこんな感じです。 CustomLog "|/インストール先/bin/rotatelogs /出力先/access_log.%Y%m%d 86400 540" combined マニュアル通りなら、この設定ではrotatelogsが起動してから24時間で出力先のログファイルが切り替わりそうに見えます。しかし、実際にはrotatelogsはtime(2)の返す値を86400秒で丸めてから開始
ApacheログをDBに保存するperlスクリプト
Apache Logを解析するためにMySQLに保存したいなーと思ったのでスクリプトを書いてみた。 DBIを利用するのが初めて、perlの理解もいまいちだったので苦労した・・ 携帯サイト用なので一応uidも考慮。docomoのuidはパラメータしか取得できないのでちょっと面倒。 テーブルはこんな感じ。とりあえずつくったので、けっこう適当です。 ====== CREATE TABLE `ap_log` ( `id` int(11) NOT NULL auto_increment, `lb` varchar(10) default NULL, `a_datetime` datetime default NULL, `remote_host` varchar(256) default NULL, `remote_user` varchar(256) default NULL, `x_docomo
ITに弱い上司や社長を納得させるアクセス解析サービス「Web Analyst」を使ってみた
アクセスログをグラフや図で表示するアクセス解析ソフトやオンラインサービスはたくさん存在しますが、何十種類ものレポートを表示することができると、逆にどれが大事でどれがそうでないのかが判断しにくくなります。まして、IT系に詳しくない上司や経営者層を相手にするのであれば致命傷です。内容がいくら正しくても、意志決定を行う人が理解できないレポートは役に立ちません。 そこで使えるのが「社長がみてもわかる」をコンセプトにしたアクセス解析サービス「Web Analyst」。とにかく簡単に使えるのが特徴で、専門用語を一切使用せず、本当に必要なものに絞り込んで作られており、読んだ後すぐ行動に移せるほど的確な分析をしてくれる利便性を追求したものとなっています。 というわけで、実際に使ってみたレビューとレポートの詳細は以下。 アクセス解析に基づく成果分析ツール｜Web Analyst（ウェブアナリスト） http
User Heat : どこが読まれているか見える！無料ヒートマップ・ツール
ヒートマップとは ヒートマップとは、温度を色で表すサーモグラフィーと同様に、ユーザーが注目している閲覧場所を赤緑青といった色で可視化する技術です。ユーザーのページ内行動を、マウスの動きから推定しています。 たとえば、 「ページをどこまで読み進めたのか(終了エリア)」「ページのどの位置を長く読んだのか(熟読エリア)」「ページのどの位置をクリックしたのか(クリックエリア)」を見える化します。これを利用すると、「読んでほしいのに読まれなかった箇所」、「意外とクリックされているリンクやボタン」「クリックしてほしいのにされていないリンクやボタン」などを発見でき、従来のページビュー(PV)やユニークユーザー数(UU数)などのアクセス解析だけではわからなかった改善点を、素早く浮き彫りにできます。 終了エリア 熟読エリア クリックエリア ヒートマップのメリットはどんなものですか？ ヒートマップツールを使う
JRuby on Google App Engineでのログ出力 - しばそんノート
前置き Google App Engine for Java（以下GAEJ）でJRubyスクリプトを書くにあたって、ログ出力をどうしたらいいのか、少し迷ってしまいませんか？ 標準出力や標準エラー出力に書き出したデータは単に無視されるだけですし、書き込みモードでファイルを開けませんので、RubyのLoggerクラスをそのまま使うことも出来ません。かといって、ログ出力無しでは何かと不便です。 ということで、GAEJ上のJRubyスクリプトでログ出力する方法を調べてみました。 Javaでのログ出力 JRubyはJava上で動作しており、Javaのクラスを利用することができますので、Javaでどのようにログを出力するのかがわかれば解決したも同然です。 そこでGAEのデベロッパーガイドをざっと眺めてみました、が…。 どうにもそれっぽい項目が見当たりません。 よく探してみたら、全然関係なさそうな以下の
GAE上の JRuby on Rails でログを取るには - yuumi3のお仕事日記
GAEのローカル環境では再現できない問題が発生した場合は、やはりログを使ったデバックになりますが、そんな際に簡単にログを残すには JRuby on Google App Engineでのログ出力 - しばそんノート にたいへん詳しく書かれています。 ありがとうございます。 簡単にログを出すには 1. appengine-web.xml の設定 に を追加 2. logging.propertiesの追加 tmp/war/WEB-INF/logging.properties ファイルを置く。内容は .level = INFO 3. 必要なコードにログ出力を書く $servlet_context.logメソッドを使います。 $servlet_context.log("*** DEBUG xx = #{xx.inspect}") 4. 再WAR作成、再デプロイ 5. Dashboard の Lo
FreeBSD Install Logwatch Tool For Log Analysis and Monitoring
[/donotprint]You can use log analysis tool called Logwatch which is a customizable, pluggable log-monitoring system. It will go through your logs stored at /var/log/ directory for a given period of time and make a report in the areas that you wish with the detail that you wish. Logwatch is very powerful system log analyzer and reporter for UNIX like systems. Install Logwatch Tool on a FreeBSD Type
productionのrailsログのローテーション - urekatのスカンク日記３
/etc/logrotate.d/PROJECT /home/app/rails/production/PROJECT/shared/log/production.log { daily missingok rotate 1000 compress delaycompress notifempty copytruncate create 0666 app app dateext } これでうまくいってる。 Loggerの設定でやるとおかしくなったのでlogrotateにしたんだけど、 Loggerをいじってなんとかしちゃう方法発見。 http://d.hatena.ne.jp/elm200/20071008/1191812760 Fileをロックしたりしなくていいのかな。２プロセス同時にローテトしちゃったりしない？ http://techno.hippy.jp/rorwiki/?Deplo
tips - ApacheのLogフォーマットの方を変えて高速化 : 404 Blog Not Found
2007年10月05日00:00 カテゴリTipsLightweight Languages tips - ApacheのLogフォーマットの方を変えて高速化 というより、高負荷サーバーの場合、ApacheのLog Formatを変更しちゃった方がいいでしょう。 ? （高速に）Apache の log を解析する正規表現 : a++ My RSS 管理人ブログ こんなの広めちゃいかん と思いついついエントリ。具体的には、 LogFormat "%h\t%l\t%u\t%t\t\"%r\"\t%>s\t%b\t\"%{Referer}i\"\t\"%{User-Agent}i\"" combined_tsv ないし、さらに LogFormat "%h\t%l\t%u\t%t\t%r\t%>s\t%b\t%{Referer}i\t%{User-Agent}i" combined_tsv として
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Loggly | Logging as a Service
logstash @ carolinacon
cronolog で Apache ログをロギング時にファイル分割