tips - ApacheのLogフォーマットの方を変えて高速化 : 404 Blog Not Found

2007年10月05日00:00 カテゴリTipsLightweight Languages tips - ApacheのLogフォーマットの方を変えて高速化 というより、高負荷サーバーの場合、ApacheのLog Formatを変更しちゃった方がいいでしょう。 ? （高速に）Apache の log を解析する正規表現 : a++ My RSS 管理人ブログ こんなの広めちゃいかん と思いついついエントリ。具体的には、 LogFormat "%h\t%l\t%u\t%t\t\"%r\"\t%>s\t%b\t\"%{Referer}i\"\t\"%{User-Agent}i\"" combined_tsv ないし、さらに LogFormat "%h\t%l\t%u\t%t\t%r\t%>s\t%b\t%{Referer}i\t%{User-Agent}i" combined_tsv として

[hedachi]

この方法を検討しよう

[riywo]

まーでも本来的にはこれがいいのよねー。ただ過去の遺産があると気楽にフォーマット変えるのが怖い。。。

[sfujiwara]

リクエストにタブがあってもログに出力されるときに\tにエスケープされるから大丈夫

[willnet]

tabならlogにまず確実に現れない／これが本当なら使える

[hiroomi]

tsv/タブ区切り

[akkun_choi]

なるほど

[sato_shin]

ログ解析用

[webmarksjp]

*apache

[lesamoureuses]

話の中身は正規表現より、splitでやりなよって話。話そのものより、「ベンチマークスクリプトってこうやって作るんだぁ」って勉強になった。今までベンチマークってやったことなかった。

[cooldaemon]

ログを tab 区切りに

[kkobayashi]

正規表現のオーバーヘッドは思いのほか大きい・・・

[nilab]

404 Blog Not Found:tips - ApacheのLogフォーマットの方を変えて高速化 : tabならlogにまず確実に現れないので、delimiterとして使っても安心？ホントに？

[the-day]

高速化されるのは、何か。

[SuiJackDo]

自分でもApacheのログをMySQLにつっこむために正規表現書いたことがあるが、あのフォーマットを考えた人はほんと頭悪いと思った。タブをデリミタにするのは確かによい。ただ、過去ログとの整合性の問題がネック。

[SriVidyut]

fscanf だけでもいけそうで便利 応用させてもらうしかない

[silver_arrow]

あとでためしてみる。

[abe_hn]

デリミタにタブ使えと。なるほど。

[dnsystem]

logformatかえれんのもあるけど

[cat-o-ninetail]

hotentry経由、タイトルが目に留まって。「ログ解析を」高速化、ですか。

[hiboma]

マッチング変数から取り出すより，splitで分解した方が高速

[aki77]

タブ区切り

[bull2]

NUL文字(\0)だとどうだろ？Cからは扱いにくいだろうけど。

[hiro_y]

Apacheのアクセスログ自体をタブ区切りに。

[otsune]

これをwebalizerやanalogに喰わせる時はs/\t/ /gすりゃいいな

[n2s]

「tabならlogにまず確実に現れないので」果たしてどうかなｗ