AWSに集まったログをどう分析するか NTTドコモのエンジニアが教えるサーバーレスなログ分析基盤
ログ分析勉強会では、「ログ分析」に関わるすべての技術、事例、知見を共有し、日々の業務に役立てられる情報交換ができる場所を目的として活動。初のオンライン開催となった今回、NTTドコモサービスイノベーション部の千田拓矢氏が、AWS純正サーバーレスなログ分析基盤を構築する方法を解説しました。関連資料はこちら。 AWSのサーバーレスサービスでセキュリティのログ分析 千田拓矢氏：それでは始めたいと思います。AWSのサーバーレスサービスでセキュリティのログ分析をしようという話です。 簡単に自己紹介します。千田と申します。NTTドコモのサービスイノベーション部というR&Dの部署に所属していて、5年目社員です。 基本的に普段の業務では、クラウド、AWS、GCP、Azureのセキュリティに関わる仕事をしています。機械学習もちょっとわかるくらいに勉強していて、その関連でFPGAとかGPUみたいなハードウェアの
Fluentd + Kinesis + Elasticsearch + Kibana / Grafanaでのリアルタイムログ解析基盤 | Tech Blog - リクルート住まいカンパニー
こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視（アクセスログ・エラーログなど）をどのように行われているでしょうか？ スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、csshX地こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視（アクセスログ・エラーログなど）をどのように行われているでしょうか？ スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、 csshX 地獄に陥りました。（以下の図のような状態のことです。） ログの確認が必要になった際に、この csshX を使用して秘伝のワンライナーで確認したい部分をtailして抽出していましたが
mod_setenvif を使って Apache のログを軽量化
Amazon Search とか不特定多数のユーザ向けにサービスを公開していると、外部からの画像のアクセスがログの 60〜70% を占めていましてログ解析とかする際に、ログサイズが大きくて時間がかかるばかりでなく、ムダにサーバの disk も占有してしまいます。最近では、１週間でログサイズが 2Gbyte 超えをしてしまうので、ログ削除だけでも大変です。 そこで、Apache のログ出力を mod_setenvif でカスタマイズすることでのログ軽量化を設定する事にしました。mod_setenvif は、Base モジュールに属するためデフォルトで include されるので普通は使用可能状態だと思いますが、意図的に --disable-module している場合は再コンパイルする必要があります。 Apache モジュール mod_setenvif とは？ mod_setenvif モジュ
RailsのログファイルをMessagePackで超高速解析!｜TechRacho by BPS株式会社
最近Railsがガンガン出力するproduction.logを解析してどのアクションがリクエスト多いのか、DBがボトルネックになってるアクションはないか、などを調べているんですが、production.logがどんどん肥大化して、解析ツールの開発イテレーションを回す際の効率が悪くなってきました。 また似たようなツールをやたらめったらコピペで作ってきたため、開発効率も悪くなってきたので、ここでAPIを整理しつつ、あわよくばログをなめる部分を高速化できないものかと考えました。 シンプルに正規表現をつかって変化する箇所を切り出していたのですが、これではかなり重いのは自明ですし、がんばって文字列をパースするパーサを作ってもrubyではあまりスピードは出なそう、でもrubyで書きたいし.... ということで、一度パースしたデータを読込みに効率よさそうな形式に変換することで、次以降の解析を高速化しよう
複台で運用しているサーバのアクセスログを1つに統合する | まつぼっくり
複数台のフロントエンドサーバでapacheが動いている場合を想定します。 その場合、アクセスログが複数のサーバにまたがってしまいます。 こんなかんじ。 web-01.access-log.20071130 web-02.access-log.20071130 web-03.access-log.20071130 webalizerやawstatsといったアクセスログ解析ソフトではこのファイルの状態では解析できない。 なぜなら、webalizerやawstatsのデフォルトでは1つのファイルのみを入力として受け付け、時系列順に記録されていなければならない。 この問題を解決するスクリプトを発見しました。awstatsの中に入っているlogresolvemerge.plというperlスクリプトです。 使い方は超簡単。引数に統合したいファイルを指定して実行すると、標準出力に時系列順にそろったレコー
Apache Combined Log を効率的にパースする正規表現メモ, Apache Combined Log 解析正規表現ベンチマークの補足 (2007/10/05), Apache Combied Log を解析する CPAN .. - [ぴ](2007-09-07)
_ [システム運用][Perl] Apache Combined Log を効率的にパースする正規表現メモ ググるとよく見つかるのははてな - Apache形式のログを解析する正規表現を教えてください (Geekなぺーじ : アクセスログの読み方（apache combined logの場合）) の ($host, $ident, $user, $time, $request, $status, $bytes, $referer, $agent) = ($line =~ /^(.*) (.*) (.*) \[(.*)\] "(.*)" (.*) (.*) "(.*)" "(.*)"/); だが、最長一致の .* が多数登場するためか、マッチ処理がとても遅い。たった10万行パースするのに Core2 使って23.7秒ってあり得なくね? できるだけ最短一致でマッチさせるように ($host,
](https://cdn-ak-scissors.b.st-hatena.com/image/square/d228e8be070c32c738781e15c25aeb18f4dc6807/height=288;version=1;width=512/https%3A%2F%2Fpmakino.jp%2Ftdiary%2Ftheme%2Fogimage.png)
HowtoMonitorProduction in Ruby on Rails
Production Log Analyzer The Production Analyzer lets you find out which pages on your site are dragging you down. PL Analyze requires the use of \SyslogLogger (included) because the default Logger doesn’t give any way to associate lines logged to a request. \SyslogLogger gives you many other advantages, such as the ability to combine logs from multiple machines. Project Page API Docs alternative
Railsのログからリクエスト時間ごとや閲覧回数ごとなどのランキングを生成してくれるツール: ぐうたら技術屋のTips
Rawk - Ruby on Rails Log Analyzer 時間のかかっている処理をログから抽出したいと思い検索し見つけたツールです。 ただのRubyのスクリプトで $> ruby [ダウンロードしたスクリプトファイルのパス] < [対象のログファイルのパス(production.log等) で解析し、コンソールに結果を出力してくれます。 ただ、現時点の最新(1.2)が私の環境(Rails 1.2.5)のログだとうまく動いてくれず(ZeroDivisionErrorが発生)、スクリプトを修正する必要がありました。 修正は、スクリプトの181行目に対し以下のように行いました。 修正前) next unless $_.index("Completed in") == 0 修正後) next unless $_.index("Completed in") 同じ現象が発生するなら試してみて
Railsのアプリの重いところを突き止める。 - zenpouの日記
本日、メッセンジャで問い合わせもらった時の内容をここに どこが重さの原因かこちらも把握できてないのでね…… って言う話があったんで提案。 railsのプロジェクトを配置しているフォルダには、色々フォルダがあって その中にlogフォルダがあるんですが、production.log*1の Completed 行をgrepしてソートすれば良いじゃないですかーって話をした。 $ grep Completed log/production.log こんな感じ で、さらにソートしてあげると $ grep Completed log/production.log | sort -nr -k 3 | head -5 こんな風になった。 ログフォーマットによっては-k 3のあたりはカラム数変える必要あるかも。 ともあれ、これで重いＰＧ5個を割り出せます。 *1:production環境で動いてればだけど
Rails1.2.5 Railsの運用環境で気をつけること-ログファイルとセッションファイルの整理 - iビジネス&テクノロジー
Ruby on Railsをデフォルト環境のまま使うと、ログやセッションのファイルが無制限に増えていくので、どこかでそれらを整理する必要があります。正直なところ、この2点が自動化されないのはRails運用上の大きな弱点ではないかと思っています*1。 (追記 Nov 23, 2007) Rails2.0からはCookieStoreという新しいSession管理が導入されたため、デフォルト設定でセッションファイルのメンテナンスは不要になります。詳細はこちら。 セッションファイルの整理 デフォルトではrails-app/tmp/sessionsにユーザセッションがファイル形式で保存されます。このセッションファイル、特にアクセスが多いサイトでは膨大な数になったりするのですが、Railsが勝手に消してくれたりはしないので、定期バッチなどで自前で削除していく必要があります。以下はUnix系の環境でアク
Railsのログを分析、グラフ化·LogJuicer MOONGIFT
※ 画像は公式サイトデモより Railsは遅いと言われる。確かに富豪的なフレームワークであり、そのままの使い方では動作が重たい。そのため、解決手段としてmemcachedをはじめとしたキャッシュ技術を利用することが多い。 ログを解析して一覧してくれる だが、フレームワークの問題ではなく、プログラム側の問題もあるかも知れない。その解決のためにはまず、現状分析からはじめてみよう。 今回紹介するオープンソース・ソフトウェアはLogJuicer、Railsログ分析ソフトウェアだ。 LogJuicerはproductionをターゲットにしたログを分析するソフトウェアだ。標準でテーブル組に各コントローラのヒット数、レンダリング、DBへの実行時間などをリストにしてくれる。さらにコントローラをクリックすると、各アクション別にドリルダウンしてくれる。 円グラフ もう一つのモードはグラフで、円グラフや棒グラフ
Rails開発Tips-Logger- - Ryoの開発日記 Neo!
別にRailsには限らないのだけど。 Railsの開発中に標準出力にデバッグ出力を出すと、サーバのログ(webrickが標準出力に吐くやつとか)と混ざってすごく見にくい。 そこでLoggerを使う。 使い方は簡単 require 'logger' class ApplicationController helper_method :d def initialize @logger= Logger.new('./logger_log.log') @logger.level = Logger::DEBUG end def d(str) @logger.debug str end end として、Loggerをセットアップ 後は好きなところで d obj.inspect とかしてやれば#{RAILS_ROOT}/logger_log.logにその出力が行われる。 tail -f logger_l
logrotate
各種ログファイルは放置しておくと時間とともに肥大化します。この問題を解決するのがログローテーションです。 ログローテーションは、例えばlogというログファイルの名前をlog1 log2 log3…というように定期的に回してバックアップします。 ローテーション数を4にしたのであれば定期的にlog4のログはlog3に上書きされ、log3のログはlog2に上書きされ、log2のログはlog1に上書きされ log1のログはlogに上書きされます。そして新たな空のログファイルlogが生成されます。一週間間隔でローテーションするのであれば ログファイルは1週間ログデータが記録されるごとに空になり、4週間分のログファイルがバックアップされていることになります。 logrotateはcronによって定期的に実行されています。 #ls -l /etc/cron.daily/logrotate -rwx
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://nyx.pu1.net/function/errorfunc/error_reporting.php