このウェブサイトは販売用です! hansode.org は、あなたがお探しの情報の全ての最新かつ最適なソースです。一般トピックからここから検索できる内容は、hansode.orgが全てとなります。あなたがお探しの内容が見つかることを願っています!
このウェブサイトは販売用です! hansode.org は、あなたがお探しの情報の全ての最新かつ最適なソースです。一般トピックからここから検索できる内容は、hansode.orgが全てとなります。あなたがお探しの内容が見つかることを願っています!
is a totally awesome idea still being worked on. Check back later.
最近Railsがガンガン出力するproduction.logを解析してどのアクションがリクエスト多いのか、DBがボトルネックになってるアクションはないか、などを調べているんですが、production.logがどんどん肥大化して、解析ツールの開発イテレーションを回す際の効率が悪くなってきました。 また似たようなツールをやたらめったらコピペで作ってきたため、開発効率も悪くなってきたので、ここでAPIを整理しつつ、あわよくばログをなめる部分を高速化できないものかと考えました。 シンプルに正規表現をつかって変化する箇所を切り出していたのですが、これではかなり重いのは自明ですし、がんばって文字列をパースするパーサを作ってもrubyではあまりスピードは出なそう、でもrubyで書きたいし.... ということで、一度パースしたデータを読込みに効率よさそうな形式に変換することで、次以降の解析を高速化しよう
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Apacheモジュールのログ出力、こんどはMessagePack版を作成しました。続いてはこちらをご紹介します。 Apacheのアクセスログを使い、ユーザアクセスの集計やパターン解析などというのは一般にどこでもやられていることだと思います。通常のアクセスログはテキストファイルなので、集計を行うためにスクリプト上で扱える変数・オブジェクト化が必要になりますね。1行ごとの各ログ項目を取り出すのに正規表現を使ったり、cutやawkなどを使い空白で分割するなど、色々工夫されていることと思います。 今回、MessagePack版のアクセスログ出力をやってみようと思い立ったのは、アクセスログをあらかじめ構造化済みの状態で保存しておければ、読み込みの際の解析する手間を省くことで解析処理の高速化が期待できるのではないか、そう考えたためです。MessagePackであれば、PythonやRubyはじめ様々な
Edit: Since it appears that there's either no solution, or I'm doing something so non-standard that nobody knows - I'll revise my question to also ask: What is the best way to accomplish logging when a python app is making a lot of system calls? My app has two modes. In interactive mode, I want all output to go to the screen as well as to a log file, including output from any system calls. In daem
http://docs.komagata.org/4009http://www.sssg.org/blogs/naoya/archives/1251ちょっと自信がないが、logrotateのprerotateの中に書けばcronで行う必要はないと思う。 /var/log/mysqld.log /var/log/mysqld-slow.log { # create 600 mysql mysql notifempty daily rotate 3 missingok compress sharedscripts prerotate /usr/bin/mysqldumpslow -s t /var/log/mysqld-slow.log 2>/dev/null | \ mail -s "slowlog" foo@example.com endscript postrotate # just i
Web屋のネタ帳 - Apacheのログ出力に追加しておいたほうがいい(かもしれない)設定 %D リクエストを処理するのにかかった時間、マイクロ秒単位 「あるページだけが異様に重い気がするんだけど?」といった場合に体感スピードではなくその正確な値を得ることができる。純粋にWebアプリ的な処理時間であってネットワーク的な遅延時間などはこれじゃ取れないけど。なお、「%T リクエストを扱うのにかかった時間、秒単位」というのもあるんだが、「処理するのにかかった時間」と「扱うのにかかった時間」がどう違うのかわからん(笑)。いずれにせよ秒単位よりはマイクロ秒単位のほうがいいだろう。 %T ... リクエストを扱うのにかかった時間、秒単位 %D ... リクエストを処理するのにかかった時間、マイクロ秒単位 ということなので、%Tと%Dで精度以外に何か違うのか気になったので調べてみた。 結論としてマニュア
普段何気なく出力しているデバッグ用のログであるが、 複数プロセスからどうやって同時に書き込むのか? rotationはどうやってやればいいのか? ということを考えると、実はこれまでライブラリ任せで、自分で書いたことがないという事実に気づいた。ので、調べてみた。 まず、複数プロセスからのログの書き込みについてだが、これは普通にアペンドモードで開くだけで良かった。 fp = fopen("app.log", "a"); openシステムコールにはO_APPENDというオプションがあり、これをつけると毎回の write(2) の前に lseek(2) を行ったかのように、ファイルポインタをファイルの最後に移動してくれる。fopenでファイルを開くときも、"a"で開くと内部でopenシステムコールを呼ぶ際にO_APPENDをオプションとしてつけてくれるのでこれでOK。ただ、仕様書での確認はまだして
新しく作った開発プロセスの問題点が見えたわけだから、それはそれとして改善すればいいのに。プロジェクトに併せてテーラリングされてないのとか。そういうことを自発的にやれる人たちが必要だというのもわかるけど ■ [colorful][log][perl] Log::Dispatch で Colorful! 追記 CodeRepos にコミットして CPAN うpしましたー。 $default_color 無くしたので、color 指定しなければただの Dumper な Screen として使えると思います。 本文 Catalyst::Plugin::Log::Colorful を使って以来、開発中は Colorful な log じゃないと Debug モードの気がしなくなってしまった自分ですが、ちょっと、Log::Dispatch で Colorful な Dumper してみたくなったのでや
railsのproduction.logなどをローテーションする一般的な方法、logrotateについてのメモ書きです。 基本 /etc/logrotate.confにデフォルトの設定 /etc/logrotate.d/配下に個別の設定を書く 利用できるディレクティブ(の一部) daily or weekly or monthly ログのローテーション間隔 missingok ログファイルがない場合でもエラーにしない rotate n n回ローテーションする compress ローテーションされたログを圧縮 delaycompress 次回のログローテーションサイクルになるまで圧縮しない notifempty ログファイルが空ならローテートしない create 0644 user group ログファイルのパーミッションと所有ユーザの設定 copytruncate 通常、ローテートするとき
先日、運用環境のRailsで動いているアプリのログからレスポンスタイムを確認する機会があって、production.logをもとに、時間がかかっている重い処理を抽出しました。ちなみにRailsのバージョンは2.1系です。 このエントリは、そのメモ書きです。どの処理が遅いのかを探し出すための最初の一歩ということで参考になれば。 Railsのログ Railsアプリをproductionモードで動かしていると、以下のようなログが各処理の最後で記録され、処理全体にかかった時間や、そのうちのレンダリング処理、DB処理の内訳なども確認できるようになっています。 Completed in 0.52340 (1 reqs/sec) | Rendering: 0.41524 (79%) | DB: 0.07341 (14%) | 200 OK [https://example.jp/hoge] 時間がかかっ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く