Apache::LogFormat::Compiler YAPC::Asia 2013 Tokyo LT-Thon
This story describes the development of the Apache::LogFormat::Compiler (ALFC) module by an operations engineer to optimize logging performance in a web application. The original PM::AccessLog module was identified as a performance bottleneck by profiling tools. Several optimizations were tried, including the PM::AxsLog middleware, but it only supported fixed log formats. The operations engineer t
regexp - で Apache Combined Log を Parse する : 404 Blog Not Found
2013年02月09日22:30 カテゴリTipsLightweight Languages regexp - で Apache Combined Log を Parse する けだし同感。 ましてや Apache Combined Log を LTSV に を書いた後では。 combined2ltsv.plの最初のバージョンのparserはこうなっていました。 sub parse_line_ng { my $line = shift; my %rec; ( $rec{host}, $rec{ident}, $rec{user}, $line ) = split ' ', $line, 4; $line =~ s/^(\[.*?\]) //; $rec{time} = $1; $line =~ s/^\"(.*?)\" //; $rec{req} = $1; ( $rec{status},
ログの任意のキーワードに好きな色をつける - Cside::Weblog
Apacheログに色を付けて快適tail生活 - y-kawazの日記 というのがあるけれど、 [31m とかで色を指定するのあまり人間が読める感じがしないので、もっと簡単に定義できるやつ作った。https://gist.github.com/2929372こんな感じにキーワードと色を定義できる。 ' (200) ' => 'green', ' (5\d{1}) ' => 'red', ' (404) ' => 'red on_yellow', こんなふうに、tail とか cat とかにパイプでひっかけて使う。 $ tail -f access_log | perl colorize.pl $ plackup app.psgi 2>&1 | perl colorize.pl
Apacheログパーサを書いた - たごもりすメモ
ApacheのログをparseしたいがCPANを見てみるとなんかぴったりなのがない。"Apache Log" で検索した限り、LoggerはいっぱいあるんだけどParserがビミョー。なぜ。見付かったのは以下ふたつのみ。 Apache::ParseLog - search.cpan.org ファイルを全部読み込んで集計までやってくれるらしい、が、そんなのいらない そもそもログ行に対して動作するというよりApacheの設定ごと処理するようなもので、モジュールというか解析プログラムの様相 ApacheLog::Parser - search.cpan.org combined 形式のみにマッチする 独自書式どころか common とか %D つきとかでも失敗するのが悲しい 特に高速ということもない Parse::AccessLogEntry - search.cpan.org (そういえば試し
ApacheログをDBに保存するperlスクリプト
Apache Logを解析するためにMySQLに保存したいなーと思ったのでスクリプトを書いてみた。 DBIを利用するのが初めて、perlの理解もいまいちだったので苦労した・・ 携帯サイト用なので一応uidも考慮。docomoのuidはパラメータしか取得できないのでちょっと面倒。 テーブルはこんな感じ。とりあえずつくったので、けっこう適当です。 ====== CREATE TABLE `ap_log` ( `id` int(11) NOT NULL auto_increment, `lb` varchar(10) default NULL, `a_datetime` datetime default NULL, `remote_host` varchar(256) default NULL, `remote_user` varchar(256) default NULL, `x_docomo
「Google Analytics API を Perl から扱うスクリプト」の標準モジュール使用版
「Google Analytics API を Perl から扱うスクリプト」の標準モジュール使用版 2009-10-21-3 [Programming][WebTool] ゆーすけべ氏の「Google Analytics API を Perl から扱うスクリプト」が非常に素晴らしいのですが、標準Perlモジュールしか入ってない環境だといろいろとアレだったので改造しました。 - [ゆ]: Google Analytics API を Perl から扱うスクリプト http://yusukebe.com/archives/09/10/19/054257.html - Google Analytics Developer Docs - Google Analytics - Google Code http://code.google.com/intl/ja/apis/analytics/doc
ゆーすけべー日記
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
Google Analyticsのデータからアクセスランキングを生成するPerlスクリプト
当ブログ「Publickey」でアクセスランキングの表示を始めました。そのために作成したPerlのコードを、せっかくなので公開します。 作成したのは、Google AnalyticsからAPI経由でランキング情報を取得して、それをHTML形式で出力するPerlのコードです。 この方法が優れている点は、統計処理済みのランキング情報をGoogle Analyticsから取得するためWebサーバにほとんど負荷がかからない点です。Perlのコードもシンプルで導入は容易だと思います。 コードは、「Using Perl for Google Analytics API « Patrick Hartman's Log」を基に、不要な部分の削除や変更を行ってシンプルにし、HTMLの出力部分などを追加したものです。ただし僕はPerlのプログラミングの知識があまりなくマニュアルを見ながらコードをいじったので、
Apache Combined Log を効率的にパースする正規表現メモ, Apache Combined Log 解析正規表現ベンチマークの補足 (2007/10/05), Apache Combied Log を解析する CPAN .. - [ぴ](2007-09-07)
_ [システム運用][Perl] Apache Combined Log を効率的にパースする正規表現メモ ググるとよく見つかるのははてな - Apache形式のログを解析する正規表現を教えてください (Geekなぺーじ : アクセスログの読み方（apache combined logの場合）) の ($host, $ident, $user, $time, $request, $status, $bytes, $referer, $agent) = ($line =~ /^(.*) (.*) (.*) \[(.*)\] "(.*)" (.*) (.*) "(.*)" "(.*)"/); だが、最長一致の .* が多数登場するためか、マッチ処理がとても遅い。たった10万行パースするのに Core2 使って23.7秒ってあり得なくね? できるだけ最短一致でマッチさせるように ($host,
](https://cdn-ak-scissors.b.st-hatena.com/image/square/d228e8be070c32c738781e15c25aeb18f4dc6807/height=288;version=1;width=512/https%3A%2F%2Fpmakino.jp%2Ftdiary%2Ftheme%2Fogimage.png)
（高速に）Apache の log を解析する正規表現（追記あり） : a++ My RSS 管理人ブログ
※(多分)最終バージョンはこちらです。 ⇒[ぴ] - Apache Combined Log を効率的にパースする正規表現メモ , Apache Combined Log 解析正規表現ベンチマークの補足 (2007/10/05) ※ベンチマークありがとうございました。 ネタ的には既出なんですが・・・ Ref: [ぴ] - Apache Combined Log を効率的にパースする正規表現メモ グーグル先生でよく教えてもらえる正規表現というのがありまして、 !^(.*) (.*) (.*) \[(.*)\] "(.*)" (.*) (.*) "(.*)" "(.*)"! これ、使ってみると 1万行解析するのに 7.617 秒かかりました。ありえない。（Let's note T5 / CentOS） で、バックトラックかからないよう、例えばこんな感じに適当に変更： !^([^\s]*) [^
referer元の検索エンジンで、どういうキーワードで検索されたかわかるモジュール - Yappo::タワシ
@typesterが欲しがってたのでClass::Componentつかって書いてみた。 超荒削りのαバージョン。 http://tech.yappo.jp/download/URI-KeywordExtract-0.00.a.tar.gz 対応検索エンジンを追加したければモジュールを追加してくだけで対応する。 若干DSLっぽくなってる。 package URI::KeywordExtract::Detector::Plugin::Google; use strict; use warnings; use URI::KeywordExtract::Detector::Plugin; capture { host qr/^www\.google\./; query 'q'; input_encoding 'ie'; default_encoding 'utf-8'; }; 1; こんな感じで
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなブログ | 無料ブログを作成しよう
http://swc.blogdb.jp/SearchWord.pm.txt