AWSでの法令に則ったログ設計及び実装/分析 - Adwaysエンジニアブログ
エージェンシー事業でリードアプリケーションエンジニアを行なっている大窄 直樹 (おおさこ)です. AWSのログ, サーバーのログってたくさん種類があって難しいですよね... 同じようなログがたくさんあるので, 何を取れば良いのかとか どのくらいの期間保持すれば良いのかとか またその後の, ログの実装や, 分析方法する方法も難しいですよね... 今回AWSに構築した商用アプリケーションのログを整備する機会があったので, このことについて書こうかなと思います. 概要 本題に入る前の準備 今回ログ実装するアーキテクチャ ログに関する法令 ログの取得箇所 設計 保管するログの決定 インフラのログ OSのログ アプリケーションのログ ログの保管 保管場所について 保管期間について バケット構造 アプリケーション, OSのログの転送 実装 アプリケーション, OSのログをfluentbitを用いてS3
MSBuildのログ情報
0.前置き CI環境でMSBuildをオプションを考えずにそのまま（？）走らせると、大量のログが出て ビルドのパフォーマンス劣化の原因になります。 そこで適切な量のログを出力するにはどうしたら良いかを書いてみます。 1.MSBuildの紹介 .NETの開発で利用するビルドツールです。 CI環境で利用する場合は、もっぱらコマンドラインで利用します。 私は主にpsakeを利用したビルドスクリプトを利用しています。 （psakeについては「初めてのpsake ～PowerShelを使ったビルドツール～」を参照してください。） MSBuildのコマンドラインオプションについては、MSDNに記載があります。 MSBuild コマンド ライン リファレンス ログ出力は、オプションの種類はわかりますが、いったいどんなログが出るのかこのドキュメントからは分かりません。 そこでよく使いそうなのに目星をつけて
Windows Azure Active Directory でのサブスクリプション管理 - Microsoft Azure サポート チーム サイト - Site Home - MSDN Blogs
Azure 課金・サブスクリプションサポートチームからのお知らせやよくあるお問い合わせを載せています。 CSP パートナー切り替えについて いつも大変お世話になります。Microsoft Azure サポート チームです。 Azure サブスクリプションの CSP パートナー切り替えについてご案内させていただきます。... Author: Japan Azure Support Team Date: 02/26/2019 管理ディスクの課金について 皆さん こんにちは。Microsoft Azure サポート チームです。 本記事では管理ディスクについて、その概要と課金に関する点をご案内します。ぜひストレージ... Author: Japan Azure Support Team Date: 02/26/2019 ストレージ アカウントの課金について ストレージ アカウントの課金について
fluentdのformat(正規表現)の作り方について試行錯誤中 #fluentd - Glide Note
Fluentdを触るようになって、いろんなログをfluentdに 渡すように試行錯誤している最中。 td-agent.conf、fluent.confを用意するときに任意のjson形式にするために 正規表現を用いてformatを書く必要があるんですが、formatの作り方というかデバック方法について どういう手順に作ると良いのか情報がネット上に見当たらず試行錯誤中。 もっと良い方法を教えてもらいたいので、今やっている方法を晒してみる。 そもそもの疑問、どうやってformatを作るのか たとえばfluentd関連の情報を調べてると、 #fluentd で maillog を読み込んで MongoDB に投入 - 酒日記 はてな支店 format /^(?<date>[^ ]+) (?<host>[^ ]+) (?<process>[^:]+): (?<message>((?<key>[^ :
log4j徹底入門
目次 QuickStart カテゴリー ログ出力 レイアウト log4Jの初期化 XML設定ファイル JoranConfigurator(1.3) commons-loggingから使う 速度に対する配慮 QuickStart まあ、抽象論よりも、具体的なコードを見ようじゃないか。サンプルコードはこんなものだ。 static protected Logger log = Logger.getLogger( TestLog4j.class ); public static void main( String [] args ) { // BasicConfigurator.configure(); new SimpleTest(); } SimpleTest( ) { try { BufferedReader br = new BufferedReader( new InputStreamR
イベントログ収集ツール fluent リリース！ - Blog by Sadayuki Furuhashi
こんにちは。Treasure Data の古橋です^^; 先日の Treasure Data, Inc. 壮行会 で、イベントログ収集ツール fluent をリリースしました！ Fluent event collector fluent は syslogd のようなツールで、イベントログの転送や集約をするためのコンパクトなツールです。 ただ syslogd とは異なり、ログメッセージに テキストではなく JSON オブジェクト を使います。また プラグインアーキテクチャ を採用しており、ログの入力元や出力先を簡単に追加できます。 Twitterでも話題沸騰中です：イベントログ収集ツール #fluent 周りの最近の話題 背景 「ログの解析」は、Webサービスの品質向上のために非常に重要です。Apacheのアクセスログだけに限らず、アプリケーションからユーザの性別や年齢などの詳しい情報を集め
node.jsのいろいろなモジュール2 – log.js | DevelopersIO
ログの出力 さて、今回はアプリケーションを開発する際に必ずと言っていいほど使用する機能、ログを出力するためのモジュールをご紹介します。 その名もズバリ、log.jsです。 このモジュールは非常にシンプルで、ログの出力とログファイルを読み込む機能を持っています。 さっそくインストールしてみましょう。 本記事での動作確認環境は下記の通りです。 OS : MacOS X 10.6.8 Node.js : v0.4.8 npm : 1.0.14 まずはnpmを使用してモジュールをインストールします。 $ npm install log githubにあるサンプルを記述して実行していきましょう。 //testLog.js var Log = require('log') , log = new Log(Log.INFO); log.debug('preparing email'); log.info
Apacheログに色を付けて快適tail生活 - y-kawazの日記
ツイッターで「Apacheログをtail中にステータスコード部分だけに色つけしたい」ってのを見たので作ってみた。 #!/bin/sed -f ## MEMO # [0m reset # [1m bold # [3m italic # [4m underline # [5m blink # [30m black # [31m red # [32m green # [33m yellow # [34m blue # [35m magenta # [36m cyan # [37m white s/\(HTTP\/1..\"\) \(2[0-9][0-9]\) /\1 \x1b[34m\2\x1b[0m / s/\(HTTP\/1..\"\) \(3[0-9][0-9]\) /\1 \x1b[32m\2\x1b[0m / s/\(HTTP\/1..\"\) \(4[0-9][0-9]\) /\1
SLF4J
Simple Logging Facade for Java (SLF4J) The Simple Logging Facade for Java (SLF4J) serves as a simple facade or abstraction for various logging frameworks (e.g. java.util.logging, logback, log4j) allowing the end user to plug in the desired logging framework at deployment time. Before you adopt SLF4J, we recommend that you read the concise SLF4J user manual. Note that SLF4J-enabling your library im
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Effective way of fetching diagnostics data from Windows Azure Diagnostics Table (Hint: Use PartitionKey) - GauravMantri.com
http://dl.dropbox.com/u/224433/kayac-01-log/index.html
EventLog: All of your logs in the same place
http://blog.moe-project.com/2011/07/17/node-js-express-log4js%E3%81%A7%E3%82%A2%E3%82%AF%E3%82%BB%E3%82%B9%E3%83%AD%E3%82%B0%E3%80%81%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%83%AD%E3%82%B0%E3%82%92%E5%8F%96%E3%82%8B%EF%BC%88%E3%81%9D/
http://blog.moe-project.com/2011/07/17/express%E3%81%A7%E3%82%A2%E3%82%AF%E3%82%BB%E3%82%B9%E3%83%AD%E3%82%B0%E3%80%81%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%83%AD%E3%82%B0%E3%82%92%E5%8F%96%E3%82%8B/
Hadoopを用いた大規模ログ解析