データがどのように更新されてきたのか追跡する - クックパッド開発者ブログ
こんにちは。技術部の吉川です。 みなさんは、異常なデータを見つけたが、どうしてそのような状態になったのか追跡できず困ったという経験はないでしょうか。 今回は、そんなときにクックパッドで利用されているAuditログについてご紹介します。 Auditログとは クックパッドでのAuditログは特定のデータレコードに対して発生したイベントをコンテキストとともに記録するものです。 一般的に監査ログ、証跡ログといったものがありますが、それらとは多少異なっています。 ここでのイベントとは、あるデータレコードが 作成された 更新・変更された 削除された といったものです。またそれ以外にもログインした、ログアウトした、セキュアな情報が閲覧された、といったイベントも含まれています。 コンテキストは以下のようなものを記録します。 いつ どこで 処理が行われたホスト 何が イベント 何を 対象データの情報 スキー
ログ出力のための print と import logging はやめてほしい - Qiita
はじめに Python入門系の記事では概して、Pythonのロギング機能の紹介で最初にlogging.debug()といったloggingモジュール付属の関数を呼ぶ方法を案内しています。 Python本家が提供するloggingの「基本チュートリアル」でもこの点で大差ありません。Python本家の基本チュートリアルでは、print()関数を使用する方法もロギングの手段として有効であるとし、タスクに応じてprint()やlogging.debug()を使いわけよう、という流れで記述されています。 コマンドラインスクリプトやプログラムで普通に使う、コンソール出力の表示 : print() そのような「基本」の説明の後「上級」チュートリアルになってようやく、Python言語付属のロギングメカニズムの説明が始まります。「上級」では4+1種類のデータ構造が紹介され、ここで「基本」で多用されていたlo
Lobiのログ集約・解析のはなし - KAYAC engineers' blog
Lobiチームの長田です。 あらゆるWebサービスがそうであるように、Lobiでも日々大量のログが出力されています。 今回はこのログをどのように集約・解析しているかを紹介します。 TL;DR アクセスログ・アプリログなど、毎秒10000行以上のログが生成されている Fluentdを使用しログを集約 consul serviceを利用した集約サーバーの冗長化 ログ中のイベント検知・集約にはNorikraを使用 アクセスログの各種解析にはAmazon Redshiftを利用 ログの集約 ログ収集エージェント Lobiではログの集約にFluentdを利用しています。 Fluentd | Open Source Data Collector | Unified Logging Layer ログファイルの集約にはfluent-agent-hydraを、Perlアプリケーション内からのログ送信にはFl
ログ収集を効率的に行うために知っておきたい、イマドキのログ収集基盤ツール8選 - LIVESENSE ENGINEER BLOG
創造開発部インフラグループです。 (中の人：水野、中西) 昨今、SaaS 系のインフラツールが台頭してきています。 リブセンスでもかつて nagios で行っていたサーバ監視は、mackerel へと置き換わっています。 自社で持つものを厳選し、出せるものは外に出していくことで Web 企業のインフラエンジニアとして注力したい箇所へリソースを割くためにもこの手の SaaS 系ツールには注目しています。知らないだけで便利なサービスは他にもあるだろうということでリサーチを開始しました。 今回は、数ある SaaS のツールの中でもログ収集系に絞ったまとめとなります。 サーバログを管理したい時 オペレーション時に複数のターミナルを開いてログを見ながら作業を行うケースは多々あるかと思います。これから紹介するツール群は条件などで絞ったログや複数ホストのログを1枚の画面で出力してくれるツールとなります。
ELBを使ってアクセス元のIPを取る方法 | Basicinc Enjoy Hacking!
AWSを使うことで今までやりにくかったインフラの設定が簡単に試せるようになりました。 そんなAWSのサービスの中にELBという負荷分散装置、いわゆるロードバランサーがあります。 1回だけ実機のロードバランサーを見たことがあるのですが、そいつはちょっといい車が買えるぐらい値段のやつでした。 機能的には結構かなり高機能なものだったので、おそらくロードバランサーの部類でもかなり高いと思うのですが 安価なものでも、そうそう手が出せるものではありません。それに設定も面倒。（多分） それがELBを使うことでGUIでポチポチするだけで、簡単に設定することができちゃいます。 しかもアクセス数に応じて勝手にスケールするというおまけ付き。 なんてすごいんでしょうAWS。 転送料で料金が決まるというのも、初回のコストをおさえられるので大変たすかります。 ELBを使うとアクセス元IPアドレスがわからない？ ELB
LogFormatディレクティブ：ログファイルのフォーマットを定義する
Apache のアクセスログでは Apache にアクセスしてきたユーザーの様々な情報の中から項目を選んでフォーマットを作成し、フォーマットに従ってログを残ることができます。ここでは Apache のログファイルで使用するフォーマットを設定する方法について解説します。
nginxで特定のURIだけログに出力しない · さよならインターネット
February 25, 2015 nginxでヘルスチェックなど設定している時に特定のURIだけログに出したくない場合の設定 location / { if ( $request_uri ~ /healthcheckurl) { access_log off; } proxy_pass http://unicorn; proxy_set_header Host $http_host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; ... break; }
特定の条件でRailsのログ出力を抑止する - Qiita
にゃんぱすー ロードバランサのヘルスチェックで log/production.log が埋め尽くされるのが辛いので、特定の条件でログ出力を抑止する方法を調べたよ。 ロガークラスを作成する まず、Rails::Rack::Loggerを継承したCustomLoggerを作成する。 class CustomLogger < Rails::Rack::Logger def call(env) if env["REMOTE_ADDR"] =~ Moe::Application.config.action_dispatch.trusted_proxies and !env["HTTP_X_FORWARDED_FOR"] Rails.logger.silence do super end else super end end end ここでは、ロードバランサのIPアドレスはtrusted_proxie
Railsのログに出力されるパラメータやSQLを整形する - ( ꒪⌓꒪) ゆるよろ日記
Railsのログに出力されるパラメータやSQLを整形してみた。開発中は便利かもしれない。 こんな感じになる。 詳細はこのコミットを参照。サンプルのアプリとしてRailsApps/rails3-bootstrap-devise-cancan · GitHubを使わせてもらった。 Apply pretty formating to logged sql/parameters · f734fb0 · yuroyoro/rails3-bootstrap-devise-cancan · GitHub SQLの整形には、sonota/anbt-sql-formatter · GitHubを使った。 Parameterは、michaeldv/awesome_print · GitHubを利用してる。ap便利。 ActionController::LogSubscriberやActiveRecord::L
Fluentdとはどのようなソフトウェアなのか - たごもりすメモ
Fluentd というソフトウェアがある。日本国内ではそこそこ話題になってきたが、何ができるのか、何に使うと嬉しいのか、何に使えるのか、という点について詳細をよく知らないという人もおそらくまだ多いことでしょう。 なので、簡単にまとめる。 http://fluentd.org/ なお以下の個別項目ごとに書いていくが、その手前にまとめを置いておくので忙しい人はそれだけ読むとよい。インストールや設定については導入部分については日本語の記事はもう多くあるので、触れない。 概要 できること ログの収集 センサデータ等の収集 汎用データ処理プロセッサとして 頻出ユースケース ログの収集 データの集約 簡単なリアルタイム集計 ソフトウェアとしての特徴 コア プラグイン 安定性 性能 開発体制 コミュニティ ぶっちゃけどうなの？ まとめ 現時点で、複数の場所に分散したデータや常に増え続けるデータの安全な転
Kibana 3 + Rails + Fluentdのサンプルアプリを作ってみた - y_310's diary
miyagawaさんのPodcast Rebuild: 19でKibanaの話があってちょっと盛り上がり始めてるので、簡単に動作を試せるサンプルアプリセットを作ってみました。 https://github.com/y310/kibana-trial git cloneしてREADMEに書いてある手順を実行していくと大体動くと思います。 railsからfluentdにログを送る部分は、こんな感じでrack middlewareを使って送ります。 # application_controller.rb class ApplicationController < ActionController::Base around_filter :collect_metrics def collect_metrics yield # ensureを使うのは例外時のログも捕捉するため ensure # co
RDS: MySQLのログを取得する - aws memo
RDSのログファイルを取得出来るようになった Amazon Web Services ブログ: 【AWS発表】Amazon RDS - より簡単にログファイルにアクセス可能に ということで、RDS( MySQL )のログを取得する手順。 注意点として、RDS(MySQL)では4種類のログ（エラーログ、エラーランニングログ、ジェネラルログ、スローログ）にアクセスできるが、デフォルトではエラーログのみ有効となっている。 Working with MySQL Database Log Files - Amazon Relational Database Service 他のログを有効にするためには、Parameter Groupの以下を設定変更する必要がある。 パラメータ名デフォルト値変更値 general_log (null) 1 log_output TABLE FILE slow_quer
Railsでログローテーションする方法 - Rails つまみぐい
Ruby on Rails v3.2.11 Railsアプリケーションを動かしてるとログファイルがどんどん大きくなっていきます。ログファイルが巨大化しすぎると開くのに時間がかかっちゃいますし、何よりも大切なディスクスペースを圧迫してしまいます。 そこでログローテートです。定期的にログファイルを分割したり、古いのを捨てていったりするわけです。 ログファイルを指定サイズで分割 config/environments/production.rbファイル内で config.logger = Logger.new("log/production.log", 5, 10 * 1024 * 1024) とセットすると、ログファイルのサイズが10MBを超える毎に新しいログファイルを自動的に作って、古いログファイルをproduction.log.0とかproduction.log.1とかの名前にしていって、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
あなたの知らない
データベースのロギングの世界 / logging queries
ログ管理のベストプラクティス
[Ruby] 例えば、Rails の標準ログを止める - sonots:blog![[Ruby] 例えば、Rails の標準ログを止める - sonots:blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/da78a05937633f7a2b4b2219826151c370cd607b/height=288;version=1;width=512/https%3A%2F%2Fparts.blog.livedoor.jp%2Fimg%2Fusr%2Fcmn%2Fogp_image%2Flivedoor.png)