ELBを使ってアクセス元のIPを取る方法 | Basicinc Enjoy Hacking!
AWSを使うことで今までやりにくかったインフラの設定が簡単に試せるようになりました。 そんなAWSのサービスの中にELBという負荷分散装置、いわゆるロードバランサーがあります。 1回だけ実機のロードバランサーを見たことがあるのですが、そいつはちょっといい車が買えるぐらい値段のやつでした。 機能的には結構かなり高機能なものだったので、おそらくロードバランサーの部類でもかなり高いと思うのですが 安価なものでも、そうそう手が出せるものではありません。それに設定も面倒。（多分） それがELBを使うことでGUIでポチポチするだけで、簡単に設定することができちゃいます。 しかもアクセス数に応じて勝手にスケールするというおまけ付き。 なんてすごいんでしょうAWS。 転送料で料金が決まるというのも、初回のコストをおさえられるので大変たすかります。 ELBを使うとアクセス元IPアドレスがわからない？ ELB
開発メモ#6 : ログの取り扱い : GrowthForecast, Amazon S3, Treasure Data で心労ゼロ - naoyaのはてなダイアリー
開発メモ#6 です。前回から少し間があいてしまいました。 開発メモ#2 : AWS でのホスト / クラウドネイティブなデプロイ - naoyaのはてなダイアリー で書いたように、EC2 へのアプリケーションのデプロイにあたっては Elastic IP の利点を活かしてカジュアルにホストを入れ替えまくっています。ちょっとこのデプロイは慎重になりたいな、と思ったらスナップショットからインスタンスを立ち上げては切り替える、の繰り返し。 この運用をしていると、スナップショットとの差分ができやすいのは chef-solo で吸収するというのが前回、前々回のはなし。 もう一点問題があります。アクセスログやアプリケーションのログです。フロントエンドのサーバをあっちこっち切り替えているうちに、そのままではログが分断されてしまう。ホストを Terminate しようものならログは消失してしまいます。 この
Apache Combined Log を効率的にパースする正規表現メモ, Apache Combined Log 解析正規表現ベンチマークの補足 (2007/10/05), Apache Combied Log を解析する CPAN .. - [ぴ](2007-09-07)
_ [システム運用][Perl] Apache Combined Log を効率的にパースする正規表現メモ ググるとよく見つかるのははてな - Apache形式のログを解析する正規表現を教えてください (Geekなぺーじ : アクセスログの読み方（apache combined logの場合）) の ($host, $ident, $user, $time, $request, $status, $bytes, $referer, $agent) = ($line =~ /^(.*) (.*) (.*) \[(.*)\] "(.*)" (.*) (.*) "(.*)" "(.*)"/); だが、最長一致の .* が多数登場するためか、マッチ処理がとても遅い。たった10万行パースするのに Core2 使って23.7秒ってあり得なくね? できるだけ最短一致でマッチさせるように ($host,
](https://cdn-ak-scissors.b.st-hatena.com/image/square/d228e8be070c32c738781e15c25aeb18f4dc6807/height=288;version=1;width=512/https%3A%2F%2Fpmakino.jp%2Ftdiary%2Ftheme%2Fogimage.png)
Kozupon.com - FreeBSDのログローテーション！
Linuxでの ログローテーション は、logrotate.confの設定と/etc/logrotate.dの中にあるスクリプトファイルで ログを分割整理していた。しかし、FreeBSDのそれとはかなり方法が違う。 FreeBSDの場合は、newsyslogと言うモジュールを使う。newsyslogは九龍（cron）（笑）で動いている。 九龍では、時間毎に実行されてそのときに、newsyslog.confをチェックしてその中の情報を参照してログ分割作業を行う。このようなプロセスでのnewsyslogであるが、ここではnewsyslog.confの書き方等を説明してみたい。 １．newsyslogの動き newsyslogの動きとしてはログのバックアップを繰り返し取っていき、指定された個数を越えたバックアップは 消去する。さらに、このバックアップはgz圧縮やbz圧縮することが出来る。
Apacheのサンプルログを生成し続けるスクリプト
最新の記事はこちらです。 Fluentdのテストをする過程で欲しかったので、Apacheのログを生成し続けるスクリプトを書きました。 と言っても生成部分はTreasureDataのスクリプトを丸ぱくりで流量制限をするオプションを追加して延々と出力するようにしただけです。 frsyuki++。 手元でサクッとproductionで確認できる人はうらやましす。 使い方は以下のような感じです。詳細はREADMEを見てください。 ruby sample_apache_gen.rb [--rate=0] [--limit=0] [--rotate=0] [--progress] [--json] [outfile] --rate 毎秒何レコード生成するかの指定。0以下は制限無し。 --limit 最大何件出力するか。0以下は延々と出力し続ける。 --rotate ローテーションの間隔。単位は秒指定。
app serverがリクエストの処理にかかった時間をログに記録する
Webアプリケーションのパフォーマンスをトラッキングするために、app serverの処理にかかった時間を記録したい。 方法を、以下のように分類できる。 1. reverse proxy側で、proxy先のapp serverがレスポンスを返してくるのにかかった時間をログに記録する場合 1.1 nginx 1.2 apache 2. app serverでリクエスト処理にかかった時間を出して、ログに記録する場合 2.1 reverse proxyで記録する場合 2.2 app serverでログに記録する場合 1と2とでは出てくる数字が違うだろうけど、本件に必要なのはパフォーマンス改善を示す一貫した指標なので、どっちでもいいと思う。 1. reverse proxy側で取る場合 1.1 nginx log_formatディレクティブに$upstream_response_timeという変数
ログの任意のキーワードに好きな色をつける - Cside::Weblog
Apacheログに色を付けて快適tail生活 - y-kawazの日記 というのがあるけれど、 [31m とかで色を指定するのあまり人間が読める感じがしないので、もっと簡単に定義できるやつ作った。https://gist.github.com/2929372こんな感じにキーワードと色を定義できる。 ' (200) ' => 'green', ' (5\d{1}) ' => 'red', ' (404) ' => 'red on_yellow', こんなふうに、tail とか cat とかにパイプでひっかけて使う。 $ tail -f access_log | perl colorize.pl $ plackup app.psgi 2>&1 | perl colorize.pl
Apacheログに色を付けて快適tail生活 - y-kawazの日記
ツイッターで「Apacheログをtail中にステータスコード部分だけに色つけしたい」ってのを見たので作ってみた。 #!/bin/sed -f ## MEMO # [0m reset # [1m bold # [3m italic # [4m underline # [5m blink # [30m black # [31m red # [32m green # [33m yellow # [34m blue # [35m magenta # [36m cyan # [37m white s/\(HTTP\/1..\"\) \(2[0-9][0-9]\) /\1 \x1b[34m\2\x1b[0m / s/\(HTTP\/1..\"\) \(3[0-9][0-9]\) /\1 \x1b[32m\2\x1b[0m / s/\(HTTP\/1..\"\) \(4[0-9][0-9]\) /\1
最新のログファイルにリンクが作れるようになった Apache 2.4.1 の rotatelogs を試す - blog.nomadscafe.jp
この機能欲しかったんだよねー。 CustomLogで、pipeしてrotatelogsを使ってログ分割を行う場合、 CustomLog "|/path/to/rotatelogs /path/to/log/access_log.%Y%m%d%H 7200 540" ログファイルは、 $ ls -1 access_log.2012030116 access_log.2012030118 の様に最新のファイルが変更になります。tail -f で追いかけていた場合は、途中でファイルを手動で切り替えないとならないのでとても不便です。また、fluentdのtail pluginも利用できません。 Apache 2.4.1 のrotatelogsでは、最新のファイルに対してハードリンクを張る機能が追加されたので、とりあえず試してみました。 $ wget http://ftp.riken.jp/net/
イベントログ収集ツール fluent リリース！ - Blog by Sadayuki Furuhashi
こんにちは。Treasure Data の古橋です^^; 先日の Treasure Data, Inc. 壮行会 で、イベントログ収集ツール fluent をリリースしました！ Fluent event collector fluent は syslogd のようなツールで、イベントログの転送や集約をするためのコンパクトなツールです。 ただ syslogd とは異なり、ログメッセージに テキストではなく JSON オブジェクト を使います。また プラグインアーキテクチャ を採用しており、ログの入力元や出力先を簡単に追加できます。 Twitterでも話題沸騰中です：イベントログ収集ツール #fluent 周りの最近の話題 背景 「ログの解析」は、Webサービスの品質向上のために非常に重要です。Apacheのアクセスログだけに限らず、アプリケーションからユーザの性別や年齢などの詳しい情報を集め
細かい書き込み連発で CPU Wait% が異常上昇 : 管理人@Yoski
ブログ書くのがものすごく久しぶりなので、とりあえず肩慣らしがてら技術メモ。 先日、とあるサーバーでものすごい性能低下があって、みると CPU wait% が異常に高い。 もう全体の80% 以上が wait%。 で、この wait% ってのは主にローカルディスクが原因なのだけど、ディスクの性能限界まではまだ結構余裕があるから原因がよく分からないでいた。 のが解決したのでメモ。 PHP では error_log という便利な関数があって、ファイルにガンガン文字列を追記してくれる。 もちろんファイルじゃなくてもいいけど、多くはファイルに対してログなどを残すのに大変便利。 これがまた超高速で fwrite なんかより断然速い。しかもスレッドセーフ。 fwrite みたいに「途中までしか書き込めませんでした」なんて弱音を吐くこともない。 そして PHP 5.2.13 からはファイルへの書き込みに限っ
Apacheのアクセスログにユーザ情報を追加する
こんにちは、中川です。 日々の運用をしていると、サービス運用の担当者から「管理画面で、あの操作はだれがやったか調べられませんか？」なんて質問を受けることがあります。 しっかりと操作ログをとるようなシステム要件でないとApacheのログを追うしかありませんが、通常はIPアドレスやブラウザ程度しか調べようがありませんよね。。。 しかし、初期開発であらゆる操作ログをしっかりシステムに組み込む余裕なんてないという場合もあります。そんな時のために事前にやっておくとちょっと便利で、非常に簡単なTIPSを。 ————————————————- ■追記 dandaso様 よりコメントいただきました。 確かにApacheへのログ用途ですので、apache_noteを利用するのが適切ですね。 dandaso様ご指摘ありがとうございます。 apache_noteを利用した場合の例も追加させていただきます。 ■a
Log::Minimal meets Plack. Log::Minimalを使って環境に適したログ出力を - blog.nomadscafe.jp
「運用におけるエラーログの重要性もしくはLog::Minimalってモジュール書いた話」で書いたLog::Minimalを、Plackと組み合わせたときにさらに便利になるMiddlewareを書きました。 ここで入手可能になるはず http://search.cpan.org/dist/Plack-Middleware-Log-Minimal/ 試しにログを吐くだけのアプリケーションを作ってリクエストをすると こんな風に、ログに色をつけてくれるのと、REQUEST_URIも付加してくれます。ただし色が付くのは開発環境(plackup -E productionとかしない場合)です。 Log::MinimalとPlack::Middleware::Log::Minimalの最大の特徴として粗結合+グルーとなるミドルウェアという組み合わせが挙げられます。Log::Minimal自体は特に依存が
WEB上からapacheの生ログを見ることができるようにするプログラム - sanonosa システム管理コラム集
apache生ログをWEB上から見たいという要望を受けて簡単にPHPで作ってみましたのでご紹介致します。突っ込みどころ満載かと思いますが、その場合はコメントに記載いただけましたら幸いです。改善的コメント大歓迎です。 ※重大な警告：この手のスクリプトは重大なセキュリティホールを招く場合がありますので、もし実利用される場合は十分ご注意ください。 【プログラムの概要】 今回作成したプログラムでは、特定ディレクトリ内のファイルリストを取得して一覧を出します。そして一覧の中から特定ファイルをクリックするとそのファイルの最後10行(もしくは指定行数)を表示するというものです。例えばこんな感じです。 web1 top> tail - access_log 38543 access_log 5435 access_log 23533 error_log 10206 error_log 236 error_
運用におけるエラーログの重要性もしくはLog::Minimalってモジュール書いた話 - blog.nomadscafe.jp
追記 CPANにアップしました http://search.cpan.org/dist/Log-Minimal/ /追記 アプリケーションサーバでエラーが起きていたり、レスポンスが遅かったりする場合に、Operation Engineer(インフラエンジニア)がまず見るのは、エラーログです。エラーログにでているメッセージを手がかりに原因を探ります。 サーバでエラーが起きている時には、データベースに接続ができなかったり、外部のAPIからレスポンスが得られない、またプログラムのBugが原因となっている場合もあるでしょう。またエラーにならなくても、複数台あるデータベースのスレーブサーバうち一台が落ちて接続をretryしていたり、APIのレスポンスが遅い際にはサーバ全体のパフォーマンスが低下します。 エラーログに障害の原因を探る情報があれば、Operation Engineerは素早く対応を開始で
CakePHP - Build fast, grow solid | PHPフレームワーク
New CakePHP 5.0 Chiffon. Faster. Simple. Delicious. What's new in version The migration guide has a complete list of what's new in. We recommend you give that page a read when upgrading. A few highlights from 5.0 are: PHP 8.1 required. Improved typehints across the framework. CakePHP now leverages union types to formalize the types of many parameters across the framework. Upgraded to PHPUnit 10.x
システム・ログ表示ツール、phpLogCon | OSDN Magazine
phpLogCon は、使いやすいWebインタフェースを備えたシステム・ログ表示ツールだ。LinuxシステムとWindowsシステムの両方のログを扱うことができるため、phpLogConサイトを1個所に用意すれば、そこからネットワーク上にあるすべてのマシンを監視することができる。 phpLogConはUbuntu、openSUSE 11、Fedora 9のリポジトリーにはない。Fedora 10では提供される予定で、Fedora developmentリポジトリーにパッケージがある。今回は、i386 Fedora 9マシン上でphpLogCon version 2.3.9のソースをダウンロードしビルドした。 構成の設定には、phpLogConに含まれているinstall.phpスクリプトを利用するのが便利だ。複数のステップから成り、ステップごとに構成設定に関する質問に回答していくとconf
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fluentd を利用した大規模ウェブサービスのロギング
Webアプリケーションのログについてあれこれ - 酒日記 はてな支店
error_logの監視 | kiyoeri.gotdns.com