ApacheのアクセスログをRubyでJSONに変換してみる | iret.media
cloudpack の ヤマグチです。 ApacheのアクセスログをElasticsearchに放り投げたいなどの時に、普通はFluentdを使うものだと思いますが中には既存のログを取り込みたい時などもあると思います。 そんなわけでRubyでApacheのアクセスログをJSONに変換するスクリプトを作ってみました。 想定するログのフォーマットはCombined形式の先頭にX-Forwarded-Forを追加した、以下のような形式です。 LogFormat “%{X-Forwarded-For}i %h %l %u %t “%r” %>s %b “%{Referer}i” “%{User-agent}i”” combined ruby access_log_to_json.rb -i some.log -o some.log.json のように使います。 123.45.67.89 10.20
cloudpackブログ - RubyでRDSのログをログの監視用にダウンロード
以前、下記でRubyのSDKを利用したRDSのログのダウンロード方法を紹介しました。 RubyでRDSのログ(すべてのファイル)をダウンロード 今回は(似てるのですが)、下記のログのチェックという観点でスクリプトを作ってみました。 RDS側のログが更新された場合のみ最新のログファイル(“mysql-general.log”など)をダウンロードする。 ログの更新の判断は”last_written”の時刻を比較する。 RDS側のログのローテーションのタイミングとダウンロードのタイミングで抜けてしまうログをフォローするために、ログローテーション時には一世代前のログ(“mysql-general.old”など)もダウンロードする。 最新のものはログのサイズが減少したらローテーションしたと判断する。 作成したスクリプトは下記の通りです。 #!/usr/bin/ruby require 'rubyge
cloudpackブログ - RDSのログをS3に保存する準備
以前紹介した「RubyでRDSのログ(すべてのファイル)をダウンロード」にて、 RDSのログをダウンロードするスクリプトを作成してみました。 今回は、このログを定期的にS3へアップロードする準備をしてみました。 まずは上記で紹介したスクリプトでRDSのログをダウンロードします。 (ファイルのタイムスタンプもRDS上のログのタイムスタンプに揃えています) # ../download-rds-log # ll 合計 9232 ... 0 5月 29 17:25 2013 mysql-error.log ... 34476 5月 29 17:27 2013 mysql-general.log ... 75796 5月 28 18:00 2013 mysql-general.log.0 ... 76212 5月 28 19:00 2013 mysql-general.log.1 ... 76139
RubyでRDSのログ(すべてのファイル)をダウンロード
下記記事にてPython版AWSコマンドラインツールを用いたスクリプトを作成しました。 Python版AWSコマンドラインツールでRDSのログをダウンロード RDSで"general.log"と"slowquery.log"も出力してみる Python版AWSコマンドラインツールでRDSのログ(すべてのファイル)をダウンロード しかし、シェルスクリプトでは、かゆいところに手が届きづらいこともあり、今回Rubyを使ってみました。 対象のログは下記です。 スクリプトは、以下になります。 # cat download-db-log-file #!/usr/bin/ruby require 'rubygems' require 'aws-sdk' AWS.config({ :region => 'ap-northeast-1' }) db_instance_identifier = 'suzuki
cloudpackブログ - S3ってなんじゃ？（S3のログファイルを別アカウントでダウンロード）
S3でWEBホスティングをする際に、アクセスログを別のバケットに出力することが可能です。 そのS3のアクセスログに別のアカウントからアクセスし、ダウンロードなどを行いたい場合があります。 そこで今回は、この方法を紹介します。 S3のアクセスログを設定にするには、AWSコンソールでS3のバケットの設定をします。 Webホスティングの設定をしていると、上図のように設定することで、memorycraft-logのlogs/以下に このバケットのアクセスログが出力されます。 このログファイルの一覧をSDK(PHP)を使って別アカウントから取得してみます。 $s3 = new AmazonS3(array('key'=>'別アカウントのアクセスキー','secret'=>'別アカウントのシークレットキー')); $s3->set_region(AmazonS3::REGION_APAC_NE1);
cloudpackブログ - EMRってなんじゃ？（EMRの詳細なログをみる）
EMRを使用していてステップ途中でエラーが発生した場合、デバッグ用のログ出力先を設定すると実行ログを AWSコンソール上で確認することができます。 例として、S3のログバケットをまとめるHiveScriptを動かした時のエラーを見てみます。 上記の図にあるようにエラーが発生しています。 LogURIを指定していると、このようにコンソールからLogFileとして確認することができます。 エラーが起こった3番目のステップのそれぞれのリンクを見てみると以下のようになっています。 ・controller 2013-03-11T11:31:41.005Z INFO Fetching jar file. 2013-03-11T11:31:48.146Z INFO Working dir /mnt/var/lib/hadoop/steps/3 2013-03-11T11:31:48.146Z INFO
cloudpackブログ - Squid経由でAWSマネジメントコンソールにアクセスしてソースIP制限や認証やログ取得
AWSマネジメントコンソールは非常に便利なのですが、基本的にどの場所からでも利用することが可能で、 誰が何の作業をしたかというログも、現状取得することができません。 しかし実際は、IAMで利用できるポリシーでAPIのアクセス制限に下記のようにソースIPを指定することが できます。 { "Statement": [ { "Effect": "Allow", "Action": "*", "Resource": "*", "Condition": { "IpAddress": { "aws:SourceIp": "xxx.xxx.xxx.xxx" } } } ] } 上記のように指定したIP(xxx.xxx.xxx.xxx)以外からAWSマネジメントコンソールにアクセスすると 下記のようにログインはできるのですが、おそらくAPIを利用して取得しているリソースに アクセスすることができません。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
