マイクロサービスで調査しやすいログをつくる - Qiita
マイクロサービスの開発を1から一人で作った話。 サービス要件や、全体のシステム構成、開発フローのおおまかな流れは、以下の記事にまとめた。 一からマイクロサービスの開発フローを作った話 ここでは各論を書く。 まずは本番でのログについて。 ログの重要度付けと、それぞれの保存場所 まずログの重要度と、利用方法から保存場所を考える。 今回は以下のとおりとした。 状態監視をするためのもの 関連する各サーバのログを、 ログ集約サーバで閲覧できるようにすること。 そのときだけ見れればよいログ。 もしかしたらあとから確認することになるかもしれないもの 非常事態に確認するかもしれないログ。 重要度に応じて、保存する期間を決めておく。 今回はgzip化したものを、S3にアップロードする。 サービス管理者以外も利用するもの たとえばデータの集計で利用するもの。 また、本サービスを利用するサービスがバグなどの調査
Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜
Pascal〜Puree + ngx_lua + Fluentd + BigQueryでつくるメルカリのログ分析基盤〜 Backend Author: cubicdaiya エンジニアではなくプログラマと呼ばれたい@cubicdaiyaです。今回はメルカリのログ分析基盤のお話です。 メルカリにおけるログデータ分析 メルカリでは初期の頃からログデータの分析をサービスの成長にとって重要なタスクとして位置づけ、そのための基盤作りに取り組んできました。ログの種類はいくつかありますが、中でも代表的なのがアプリケーションサーバで出力されるアクセスログやアプリケーション固有のログです。これらのログはサイズが大きいので効率良くログデータを転送するための工夫が必要になります。そこで活躍するのがFluentdです。 大雑把に説明するとアプリケーションサーバで出力されたログはFluentdから最終的にBigQu
ビッグデータ分析の勘所─Treasure Dataイベントで見えたデータサイエンスのノウハウ | gihyo.jp
その中からTreasure Data（以下、TD）のデータ分析ノウハウについて語った田村氏、柄沢氏の発表をピックアップしてレポートします。 データを集めるのはたいへん 1つめに挙げた課題はデータ収集の問題です。田村氏は、いざデータ分析を始めてみると、集めたデータに間違いがあって、正しく集計、分析ができないということがよく起きると言います。 その原因の1つは、アプリケーションを修正した結果、出力するログが変わっていたというものです。データ分析の現場では、「業務でデータを集める人」と「データを分析する人」が異なるというのはよくあるそうです。そのため、前述のようにほかの担当者がログを分析していることをあまり意識せずに、アプリケーション開発担当者がログの内容を変更してしまうということが起こるのです。 また、データを集めるしくみが複雑過ぎる、というのも一因です。一般的にどんなサービスでも、複数のデ
Railsのログに出力されるパラメータやSQLを整形する - ( ꒪⌓꒪) ゆるよろ日記
Railsのログに出力されるパラメータやSQLを整形してみた。開発中は便利かもしれない。 こんな感じになる。 詳細はこのコミットを参照。サンプルのアプリとしてRailsApps/rails3-bootstrap-devise-cancan · GitHubを使わせてもらった。 Apply pretty formating to logged sql/parameters · f734fb0 · yuroyoro/rails3-bootstrap-devise-cancan · GitHub SQLの整形には、sonota/anbt-sql-formatter · GitHubを使った。 Parameterは、michaeldv/awesome_print · GitHubを利用してる。ap便利。 ActionController::LogSubscriberやActiveRecord::L
ログ解析で楽をする話 #qpstudy でしてきました。
ログ解析というのはインフラエンジニアの基礎の基礎です。アプリケーションが定まればそれなりのログ解析ツールは存在します。Debianのstableですら数十のツールがあります。 とはいえ、実際のログというのは往々にしてアプリケーション毎に全然ちがっているのでツールは役に立ちません。結果としてgrepを駆使したり、はたまたRDBに突っ込んだりして試行錯誤することになります。 見事に解析できたとしても、それを可視化することを考えると楽できることを考えておきたいわけです。 そこで役に立つのはログ解析SaaS．Sumologic, SplunkStorm, Logglyなどけっこうありますが、qpstudyではSumoLogicを紹介してみました。GUIでログを横断的に絞り込めますし、その処理構文はいつでも繰り返すことのできるすぐれものです。 無料で使えるサイズでかなりのことができますので、ちょっと
おすすめ！サーバサイドのログをGoogle Chromeのデバッグツールで確認·Chrome Logger MOONGIFT
Chrome LoggerはPython/PHP/Ruby/node.jsに対応したGoogle Chromeでサーバサイドのログが表示できるChrome機能拡張です。 Google Chromeを使ってWebシステムを開発している時に、サーバサイドはログを見て、JavaScriptなどのクライアントサイドはコンソールを見ます。しかしこれでは面倒、という人にお勧めしたいのがChrome Loggerです。Google Chromeのデバッグツールにサーバサイドのログが出力できるようになります。 こんな感じのコードを書きます。 コンソールにサーバからのデバッグメッセージが出力できるようになります。 PHPの連想配列もJSONとして取得できています。 オプション画面です。 こんな感じに行数を出力することもできます。 Chrome Loggerの面白い点は、ツールとしてはChrome Logge
Log analysis with Hadoop in livedoor 2013
1. Log analysis system with Hadoop in livedoor 2013 Winter 2013/01/20 Hadoop Conference Japan 2013 Winter TAGOMORI Satoshi (@tagomoris) NHN Japan Corp. 13年1月21日月曜日 2. TAGOMORI SATOSHI (@TAGOMORIS) NHN JAPAN CORP. WEB SERVICE BUSINESS DIVISION DEVELOPMENT DEPARTMENT 2 (IN JAN 2012, LIVEDOOR -> NHN JAPAN) 13年1月21日月曜日
Log::Pony::Emotional もつくってみた - tokuhirom's blog
ref. http://d.hatena.ne.jp/hirose31/20130215/1360908384 継承でかけるので楽。 package Log::Pony::Emotional; use parent qw(Log::Pony); our $EMOTION = { DEBUG => '(☼ Д ☼)', INFO => 'm9(^Д^)', WARN => '(´･ω･`)', CRITICAL => '(； Д ) ゜ ゜', }; sub process { my ( $self, $level, $message ) = @_; my $time = $self->time(); my $trace = $self->trace_info(); if ( $self->color ) { $message = $self->colorize( $level, $mess
Proclet で tail -F をつかうと便利 - tokuhirom's blog
最近は Proclet で local の開発環境を構築している(そして staging で daemontools で確認する)。 Proclet で memcached, STF, plackup, nginx などを起動してしまうというワケ。 で、ここで問題となるのが、File::RotateLogs をつかってログをとっている場合、ログはファイルにかきこまれるってこと!(あたりまえ) まあ nginx のログとかもそうだけどね。 そんなときは、素直に Proclet を起動しているスクリプトの中で、 run('app-log', 'tail -F /var/log/app.log');とかすればいいというワケ! これで File::RotateLogs もこわくないぞ!!
【Javascript】consoleオブジェクトが持つlog以外の便利メソッド18（前編）
こんにちは、橋本です。 今回と次回の２回にわたり、Safari、ChromeのWebインスペクターやFirefoxのFireBugで使えるconsoleオブジェクトの使い方について書いてみたいと思います。 Javascriptのコードをデバッグする際に、console.logを使ってメッセージやオブジェクトの内容をログに表示することがあるかと思いますが、 この「console」オブジェクト、実はlogメソッド以外にも複数のメソッドがあります。 まずは、consoleオブジェクトにどのようなメソッドがあるか、console.logを使って表示してみたいと思います。 consoleオブジェクトの中身を見てみると、__proto__オブジェクトに以下のメソッドが定義されています。 assert count debug dir dirxml error group groupCollapsed g
Spread Toolkit で分散ログ (1) - 酒日記 はてな支店
以前 LVS + Ultra Monkey で負荷分散 (設定編) - 酒日記 はてな支店 で書いたように、Apache を LVS で負荷分散したのですが、この際にアクセスログを一つに (時系列を保って) まとめるにはどうすればいいか、ちょっと悩みました。 結局 Apache からパイプ経由で logger コマンドを起動して syslogd でログ取得ホストに飛ばす、ということをしたのですが、いくつか問題が。 ログの先頭に syslogd の日付 (Jan 24 18:33:30 www1 logger: ) が付く → 集計の邪魔 syslog は 1メッセージ 1024 byte までしか記録できないので、尻切れになる行が (稀にだけど) 発生する Linux の syslogd は書き込みの際に頻繁に sync するので、DISK IO が大量に発生して重い 特に最後のは、秒間数
NAMAKESUGI | [Rails3]ログ解析ツール request-log-analyzer
FlexやRuby on Railsなどで使い方とかを自分が後でわかるようにメモしておくブログ。最近はFlex系に飽きてます。 カテゴリ: Rails Rails3対応 ログ解析ツール request-log-analyzerの使い方 需要がありそうなので、メモがてら 基本的にWikiの内容を検証しながらまとめただけ。 ログはredmine2.0をproductionで実行したときのログを利用 なお、複数のプロセスが同一のログファイルにログを書き込んでいる場合は、正しく解析されないこともある様子 https://github.com/wvanbergen/request-log-analyzer/wiki/Basic-usage 基本的にはProcess blockersのチェックが主な用途として使っています。 それ以外にもdbにいれたり、ymlで落としたりと色々できるので、使い方は色々あ
#java_ja で例外とロギングについて勉強会をやるというのでいってきた＆飛び込みLTやった＆運用の視点から見たアプリケーションのログについて - たごもりすメモ
LOG.debug("nice catch!") - connpass 2012/06/27 java-ja 『LOG.debug("nice catch!")』#java_ja #javaja - Togetterまとめ blogエントリを書くまでがjava-jaだと聞いたのでとりあえず書く。超まとまってません。各スピーカーの話の内容については他の人のblogに(たぶん)書いてあるのでそっちを見るとかTogetterを眺めるとかすればよいのではないでしょうか。 主催のみなさま、および会場提供のGREEさま、ありがとうございました。そういえばGREEでの勉強会って初めて参加した気がする。六本木ヒルズの入館、だいぶ簡単になりましたね。 いってきた どっちかというとアプリケーションのコード書く人が多かったんですかね。という感じで、アプリケーションコードからいかにして例外を投げるか、それをどのよ
ログ解析飲み会 - wyukawa's diary
10/19（水）に都内某所でログ解析飲み会なるものを開催した。 ログ解析飲み会なのにログが無いってどういうこと？と某氏に突っ込まれたので酔っぱらいの記憶をたよりに書いてみる。ここには書けないオフレコ話も多々あったように思うが忘れたので書かない。 またここに書くことは僕の脳みそで理解した部分に限るが、誤解が含まれている可能性はもちろんあるので変なことを書いていたら指摘していただけると幸いである。 で、この飲み会を開いた経緯としてはですね、僕自身がHiveを用いたログ解析をするようになって他の人の現場寄りの話を聞きたいなーと思ってTwitterで絡んでいたら大物がきたので開催した次第である。大物が誰かはマル秘事項である。一人じゃないとだけいっておこう。 世の中的にも主にWeb業界でHadoopでのBI案件が広まるにつれて、Hive, Pig, Hadoopストリーミング, 生MapReduce
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://static1.squarespace.com/static/552092d5e4b0661088167e5c/t/5760096ecf80a129e0b17634/1465911664070/Windows+PowerShell+Logging+Cheat+Sheet+ver+June+2016+v2.pdf
GitHub - mcholste/elsa: Enterprise Log Search and Archive
Rally Vincent-Blog » Seite nicht gefunden
Matomo - The Google Analytics alternative that protects your data
GitHub - hisashisatake/visitors: Visitors fast web log analyzer
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
