logentriesでnginxのエラーを監視する - komagataのブログ
小さいrailsサービスあるある railsで何かサービスを作ったとする。ExceptionNotificationも入れた。NewRelicで5分毎に死活監視もしてる。なのに「落ちてるみたいです」とTwitterで言われる。 nginx + unicornの組み合わせでアクセスが増えた時、大抵真っ先に起こるのがunicornのtime out。 2013/02/08 18:36:10 [error] 20932#0: *3506622 upstream timed out (110: Connection timed out) while reading response header from upstream, client: 〜ってやつ。 重いDBのクエリとかでアクセスをさばくスピードより接続数が増えてきて起こる。railsアプリまで処理が行かないのでExceptionは起こらない
Treasure Data Analytics 第2回 〜Treasure Data Cloud Warehouse について（後編）〜 - doryokujin's blog
はじめに Treasure Data Cloud Warehouse（前編）では，サービスの概観を紹介しました。第2回では，実践的なデータ･アナリティクスを行う上で解決しなければならない問題をTreasure Dataではどのように解決しているのか，具体的に述べていきたいと思います： データ収集の問題：様々な種類のログをどのようにデータを集約･収集して，横断的な解析を可能にするか？ ストレージの問題：増え続けていく大量のログを，どこに，どのようなフォーマットで，解析可能な状態のまま保管していくか？ 解析結果の活用に関する問題：ログを解析した結果を，どのように可視化するか。あるいはどのように既存のシステムに統合・フィードバックしていくのか？ 1. データ収集の問題 図1: fluentd はログ解析の前段，ログ収集における問題を解決してくれる 「解析対象のログを収集してくる」という作業は本質
ログ収集基盤のFluentdとFlume NG、どちらが使いやすい？
ログは、システムの障害解析（デバッグ）や運用モニタリングに使うことを想定して、コンピュータに発生したイベントの履歴を時系列に沿ってファイルに出力したものである。有用なデータではあるが、扱いにくい面がある。そのため、複数のログを突き合わせて分析するといった活用が難しく、従来はもっぱら一つのログを単独で利用するにとどまるケースが多かった。 扱いにくい面とは、例えば「ログを一括して処理するには対象ログを各サーバーから収集しなければならない」「ログはサイズが大きくなりがちなので収集する場合は一部を抜き出すなどの加工が必要」といったことである。ログに新たなデータが書き込まれた際に、それを即座に取り出す手段が用意されていないこともそうだ。 こうしたログの扱いにくさは、「ログ収集基盤」と呼ばれるソフトウエアを使うことで克服可能である。ログ収集基盤は、複数のログを結び付けて分析する際などに必要な、対象ログ
Treasure Data Analytics 第6回 〜Heroku Addon からアクションログを取得する〜 - doryokujin's blog
はじめに 今回は Treasure Data が提供している Heroku Addon を利用して，任意のアクションログを取得する方法を紹介します。また，アクションログの取得については td-logger-ruby または td-logger-java を利用することによって Heroku 上のアプリケーションに限らず任意の Ruby および Java アプリケーションから同じようにアクションログを取得することができます。はじめにアクションログを取得することの有用性について触れ，その次に Heroku Addon の紹介およびアクションログを取得するまでの流れを説明します。 アクションログをフルに活用した解析は次回から始まる Social Gaming Analytics にて詳しく紹介します。 アクションログについて つい最近までの Web サービスにおける解析というのは，アクセスログに
Google Analyticsでサイトのことが丸分かりのバブルチャートをフル活用する方法 | nanapi [ナナピ]
バブルチャート使っていますか？ 「Google アナリティクスの中で最もサイト改善のヒントを見つけやすいグラフはどれか？」と聞かれたら間違いなく「バブルチャート」と答える筆者です。こんにちは。 しかし、Googleアナリティクスの解説や機能紹介を行っているサイトでなかなかお目にかかりません。そもそも「バブルチャートってGoogle アナリティクスで見られるの？」と思っている方も多いかもしれません。ぜひ、この記事を読んでいただき、その魅力に取り付かれてください！ Googleアナリティクスの画面を確認する前に、「バブルチャート」とは何かを確認しておきましょう。 そもそもバブルチャートとは？ 以下が、バブルチャートの画像になります。Excelなどでも用意されているグラフの1種で、3つの変数をひとつの図で表現できることが出来るのが特徴です。 X軸で1つの変数、Y軸で1つの変数、円の大きさで1つの
Rails のログをリクエスト単位で grep する - @kyanny's blog
何度も似たようなのを書いては捨ててるような気もするけど、性懲りもなくまた書いた。 GitHub - kyanny/rails-log-block-grep Rails のログは apache やら lighttpd やらのログ (common とか extended/combined とかよばれる) と違って一リクエストが複数行にまたがるので、ふつうに grep すると前後の行が欠落しリクエスト全体を把握するのが難しくなるため -A -B オプションを駆使して前後の行も出力する必要がある。しかし必要な前後の行数はまちまちで、特に例外が発生してたりするとバックトレースがずらずら出て -A 10 -A 20 -A 30 ... とか何度も調整するはめになってとてもめんどい。のでリクエスト全体のテキストに対してマッチさせてマッチしたら何行あろうと全部出るようにした。 $ tail -n 1000
RailsのログファイルをMessagePackで超高速解析!｜TechRacho by BPS株式会社
最近Railsがガンガン出力するproduction.logを解析してどのアクションがリクエスト多いのか、DBがボトルネックになってるアクションはないか、などを調べているんですが、production.logがどんどん肥大化して、解析ツールの開発イテレーションを回す際の効率が悪くなってきました。 また似たようなツールをやたらめったらコピペで作ってきたため、開発効率も悪くなってきたので、ここでAPIを整理しつつ、あわよくばログをなめる部分を高速化できないものかと考えました。 シンプルに正規表現をつかって変化する箇所を切り出していたのですが、これではかなり重いのは自明ですし、がんばって文字列をパースするパーサを作ってもrubyではあまりスピードは出なそう、でもrubyで書きたいし.... ということで、一度パースしたデータを読込みに効率よさそうな形式に変換することで、次以降の解析を高速化しよう
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fluentd を利用した大規模ウェブサービスのロギング