高速ログフォーマットと簡単な解析機能の実装 - Blog by Sadayuki Furuhashi
先日の高速ログフォーマットの提案を実際に実装してみました。 ログを MessagePack でシリアライズしてバイナリ形式で出力することで、生のバイト列をBase64などでエンコードしなくてもログに書き出せるようにし、また高速に解析できるようにしようというアイディアです。 ソースコード：logpack.tar.gz（コンパイルするにはMessagePackのC++用ヘッダとgem install msgpackが必要） twitterやコメントでいただいたアイディアを参考に、いちばんシンプルなフォーマットにしてみました： ログサイズ [アクセスログ, {"時刻": 1230415655, "URL": ["index.html"], "UA": "Mozilla/5.0 ... Firefox 3.0.5"}] ログサイズ [アクセスログ, {"時刻": 1230415656, "URL"
高速ログフォーマットの提案 - Blog by Sadayuki Furuhashi
バイナリ形式のログフォーマットが必要になったので（テキストだと生バイト列を出力できなくて困る。Base64はイヤ）、どうせならオレオレフォーマットではなく一般的に使えるフォーマットだといいなーと思いメモ。 最初の発想 改良1：定義ファイル（静的型付け） 改良2：自己記述性（動的型付け） 改良3：enum 最初の発想は、ログに出力したい内容を MessagePack でシリアライズして出力するだけ。↓こんな感じ。（表記はJSON） [アクセスログ, {"時刻": 1230415655, "URL": ["index.html"], "UA": "Mozilla/5.0 ... Firefox 3.0.5"}] [アクセスログ, {"時刻": 1230415656, "URL": ["index.html"], "UA": "Mozilla/5.0 ... Safari/525.13"}] [
ログファイルのローテーション - satospo
Apacheを運用していると、アクセスログ等のサイズが大きくなります。また、アクセス解析を行う場合などは、ログファイルのローテーションを行うことで、効率良く処理できます。 以下では、Apacheのログファイルのローテーションについて記載します。方法としては次の3つが代表的です。 ログをファイルに出力 → logrotateなどでローテーション(Apache再起動必要) ログをパイプに出力 → rotatelogsなどでローテーション(Apache再起動不要) ログをsyslogに出力 → logrotateなどでローテーション(Apache再起動不要) この中で、パイプ出力とsyslog出力は、大規模サイト(リクエスト数が大きい場合)において、パフォーマンスの低下原因となります。しかし、ログの交代時にApacheの再起動が不要です。ベターな方法は、logrotateかrotatelogs
Apacheログに色を付けて快適tail生活 - y-kawazの日記
ツイッターで「Apacheログをtail中にステータスコード部分だけに色つけしたい」ってのを見たので作ってみた。 #!/bin/sed -f ## MEMO # [0m reset # [1m bold # [3m italic # [4m underline # [5m blink # [30m black # [31m red # [32m green # [33m yellow # [34m blue # [35m magenta # [36m cyan # [37m white s/\(HTTP\/1..\"\) \(2[0-9][0-9]\) /\1 \x1b[34m\2\x1b[0m / s/\(HTTP\/1..\"\) \(3[0-9][0-9]\) /\1 \x1b[32m\2\x1b[0m / s/\(HTTP\/1..\"\) \(4[0-9][0-9]\) /\1
tenshiでサーバ上のログファイルを効率良く監視 - Masatomo Nakano Blog
tenshiとは サーバ上のログファイルは、ただ記録しておいて問題があったときの調査に使うだけではなく、リアルタイムで監視することでアプリケーションやサーバの不具合の早期発見をすることができる。問題が表面化する前に対策を行なうにはログの監視が不可欠だ。 しかし、サーバは、種類も数もどんどん増えていくものだし、それに合わせログファイルの種類も量もどんどん増えていく。全部見るのはもちろん不可能だし、適当に通知をしてもメールボックスを溢れさしてしまうことになり、結局は無視することになってしまい意味がない。 そこで、賢く効率的に監視するために tenshi というツールが非常に便利に使える。 このツール、最近しばらく使っていなかったのだが、最近会社で再び使い始め、便利さを再確認したので紹介してみる。知る人は知るツールだと思うけどいまいちマイナーなのかな？ tenshiは、元々はGentoo Lin
Robust log process
2. はじめに 1. スケーラブルなログ集計を安全に構築するために我々が考慮していることを説明します。 2. 広告集計という特性上、「超高速にかつ高効率に！」というよりはどちらかというと「多少の非効率は目をつぶって安全側に寄せる」という設計方針になっています。 3. 上司から突然「来月から 1 日 10 億越えのアクセスを食うことになるから集計システムはよろしくね♪」という日が来るかもしれないので、来たる日に備えてもらえればと思います。 4. 自己紹介 山崎大輔 Twitter: @yamaz Blog : 最速配信研究会 http://d.hatena.ne.jp/yamaz/ 現在：株式会社スケールアウト 代表 1 日数億～を超えるような配信をカジュアルに行うための 広告配信システム「 ScaleAds 」の開発と販売およびコンサル かれこれオンライン広告業界で 14 年やってます
Subversionのコミットログを修正 - てんぷらメモ
＼閉鎖予定のサイトも売れるかも？／ アクセスがないサイトもコンテンツ価値で売れる場合も… ドメインの有効期限を更新してサイト売却にトライしてみましょう
Squid - tagus.org
インストール † % tar xvfj squid-2.5.STABLE10.tar.bz2 % cd squid-2.5.STABLE10 % ./configure % make % make install コンフィグファイルを編集。 編集した行のみ書く。 # リクエストポートの設定。 # 任意のポートを指定 http_port 1234 # ICPポートの設定。0にすると無効になる。 icp_port 0 # キャッシュディレクトリの指定。 cache_dir ufs /var/cache/squid 100 16 256 # アクセスログの設定。 cache_access_log /var/log/squid/access.log # キャッシュログの設定。 cache_log /var/log/squid/cache.log # キャッシュストアログの設定。 cache_st
Subversionのcommit logを変更する | Fragments of Reality
普通、commit logを後から変更するなんてことはしてはいけないんですが、 「あー、typoした！！！」なんてこともたまにあったりして、 そんなときにはお願いだから変更させてください神様、 とか思ったりするものです（しないって svn:ignoreを設定したことがある人ならpropeditでsvn:logあたりを変更すればいんじゃない？ と思い至るような気もするんですが、 さすがにrevisionに対するpropedit（revprop）は、デフォルトでは禁止されているのです。 これを有効にするには、hooksにpre-revprop-changeを追加します。 pre-revprop-change.tmplがあるので、それをcpしてchmod +xしてください。 $ cd /path/to/svn/repository/hooks $ sudo cp pre-revprop-chan
pound + lighttpd で Apache互換のログをとる | 変なヤバいもんログ
Posted on 2008年2月12日 Posted by ちゅう コメントする Posted in Development Tags: Linux Webalizserなどのログ解析ソフトを使いたい時、たいていはApache互換のログが必要となる。pound をフロントに置いて、裏でlighttpdを動かしている環境では、アクセス元ホストの情報がpoundのIPアドレスになってしまって都合が悪い。lighttpdは各機能がモジュールになっているので、accesslogというモジュールを有効にする。以下のような感じで、追加する。 server.modules = ( "mod_accesslog", "mod_rewrite", "mod_redirect" ) そうしたら、ログファイルを吐く場所とフォーマットを指定する。poundのヘッダ情報に X-FORWARDED-FOR っていう
dfltweb1.onamae.com – このドメインはお名前.comで取得されています。
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)（「ICANNがレジストラとして認定した企業」一覧（InterNIC提供）内に「Japan」の記載があるもの）を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2023年10月時点の調査。
[Think IT] 第1回：必読！ログファイルとディレクトリ （1/3）
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)（「ICANNがレジストラとして認定した企業」一覧（InterNIC提供）内に「Japan」の記載があるもの）を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2023年5月時点の調査。
Subversionのコミット済みのログを修正する方法 - MasaGonのアイデアフロー
いろんなプロジェクトのソース管理やドキュメント管理に、Subversionを使っている。ときどき、ログメッセージに誤字があったり、必要なコメントを入れ忘れて、後から修正をしたくなる事がある。 例えば、Windows上のSVNクライアントのTortoiseSVNでは、ログの一覧を表示させておいて、ログを修正したリビジョンで右クリック⇒ログメッセージを編集をすると、修正する事が出来る。ただし、通常のSubversionサーバー側の標準設定ではこの機能は使えない。 そこで、下記のようにrevprop前のフックを有効にしてやる。 （レポジトリのパスが /home/svnroot だと仮定） # cd /home/svnroot/hooks # cp -a pre-revprop-change.tmpl pre-revprep-change # chmod +x pre-revprep-change
[Pound][Apache]X-Forwarded-Forログ設定 : ブログシステム - BLOG.BBTUNE.COM -
Apacheのログに Poundを動かしているサーバのIPが入ってしまうので変更 LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined ホストのところを X-Forwarded-For に変更。 LogFormat "%{X-Forwarded-For}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined ++++++++++ pound.cfgは LogLevel 0 でログを出さないように変更。 ========== ログ解析は、一日終わった後に、集約してから行う。 もしくは、画像埋め込み型でログとり専用でやったほうがいいかも。
Log4perl
This is Bavaria, Germany! You will find links to Perl, bootdisks for system administration, a lot of Linux, Windows administration and some personal belongings. The module Log::Log4perl from CPAN provides easy logging in Perlprograms. A fast approach, log to screen A fast approach, log to screen and file A more complex example Methods to use in Log::Log4perl How to switch Loglevel in the pro
ログファイル - Apache HTTP サーバ
Please note This document refers to the 2.0 version of Apache httpd, which is no longer maintained. Upgrade, and refer to the current version of httpd instead, documented at: Current release version of Apache HTTP Server documentationYou may follow this link to go to the current version of this document.
Catalyst::Log::Log4perlの出力先を任意のファイルにする。 - 日向夏特殊応援部隊
始めに Catalyst::Logを敢えてLog::Log4perlに変えるケースって良くあるとは思うんですが、デフォルトだとstderrへの書き込みのようなので、起動のさせ方に依っては嬉しくない記載になる可能性が高いです。*1 と言う訳できちんと外部のファイルに明示的に出力する方法です。 追記 path_toがsetup_home実行前だと使えないとかって記述が不適切*2だったので、修正しました。 Catalyst::Log::Log4perlでのLog4perlの呼び出しを確認 ドキュメントにも書いてありますが、 new($config, [%options]) This builds a new Catalyst::Log::Log4perl object. If you provide an argument to new(), it will be passed directly
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ywcafe.net
mod_log_config - Apache HTTP サーバ
Apache/ログ解析ツール - Labo of J