javaのロガーが多すぎて訳が解らないので整理してみました - 文系プログラマによるTIPSブログ
最初は誰しもがファッ！？となるんですよねロガーって。 いずれtree-tipsで公開しようと思っている、solrのプロジェクトを今作っています。mavenでjarを管理している訳ですが・・ なんだこのロガーの数は！！ commons-logging、log4j、slf4j-api、jcl-over-slf4j、logback-classic・・・・、こいつら一体何が違うんだ！どう使い分けるんだ！そもそも必要なのか！？となりました。 昔はcommons-logging＋log4jというのがトレンドだった訳ですが、今はslf4j＋logbackがトレンドになり、jdkも1.4から1.7になり、これらトレンドが推移する過程で、いろいろなjarが旧式に依存してしまい、旧式依存を解決するためにアダプタが登場し始め、mavenでjarを収集すると大抵両方入ってしまい、カオスになっているのです。 特にs
Flume
1. Flume について (“Flume Reliable Distributed Streaming Log Collection” by Jonathan Hsieh, Henry Robinson, Patrick Hunt ; http ://www.cloudera.com/resource/flume-reliable-distributed-streaming-log-collection-hsieh-robinson-hunt の非公式かつ不完全な日本語訳です。 ) Infoscience 永江 哲朗 2. シナリオ ・シチュエーション : - ログを生成するサービスがデータセンターに数百個ある。 そのサービス群は解析したいログを大量に生成する。 - 大量のデータを処理する Hadoop システムを使っている。 ・問題 : - すべてのログを Hadoop
ApacheのアクセスログをSQLで解析する - terazzoの日記
Apacheのアクセスログ(CustomLog)を読み込みJoSQLを使って絞り込んだり集計したりしてみる。 前提 パーサの処理をはしょったりする為にいろいろ条件を決めておく。 ログ出力は空白区切り。(CLFやCombinedと呼ばれるような形式) 空白を含む要素は「"」で囲む 「"」内の「"」は「\"」とエスケープされている 対応するフォーマットは「%h」「%l」「%u」「%t」「%r」「%s」「%b」「%{<ヘッダフィールド名>}i」のみ 日付(%t)はCLFフォーマットのみ対応(%{}tは非対応) 「%s」と「%>s」の区別は付けない 要素の順序は入れ替え可能(LogFormatの書式で指定) 方針 コマンドラインからjavaを起動して実行する sample.josql.LogQueryというクラスのmain()で処理を実行する。 クエリ文字列およびファイルパスはコマンドライン引数で
Robust log process
2. はじめに 1. スケーラブルなログ集計を安全に構築するために我々が考慮していることを説明します。 2. 広告集計という特性上、「超高速にかつ高効率に！」というよりはどちらかというと「多少の非効率は目をつぶって安全側に寄せる」という設計方針になっています。 3. 上司から突然「来月から 1 日 10 億越えのアクセスを食うことになるから集計システムはよろしくね♪」という日が来るかもしれないので、来たる日に備えてもらえればと思います。 4. 自己紹介 山崎大輔 Twitter: @yamaz Blog : 最速配信研究会 http://d.hatena.ne.jp/yamaz/ 現在：株式会社スケールアウト 代表 1 日数億～を超えるような配信をカジュアルに行うための 広告配信システム「 ScaleAds 」の開発と販売およびコンサル かれこれオンライン広告業界で 14 年やってます
SLF4J
Simple Logging Facade for Java (SLF4J) The Simple Logging Facade for Java (SLF4J) serves as a simple facade or abstraction for various logging frameworks (e.g. java.util.logging, logback, log4j) allowing the end user to plug in the desired logging framework at deployment time. Before you adopt SLF4J, we recommend that you read the concise SLF4J user manual. Note that SLF4J-enabling your library im
ログを有効活用するためにするべきこと
「ログはとっているけど、何に使えばよいのか分からない」というユーザーは多いのではないだろうか。それは目的を持ってログを収集していないからだ。今回は、ログ収集のポイントについて、S&Jコンサルティングの三輪信雄氏に話を聞いた。 ほとんどの企業でログは取得している。しかし、目的を持ってログを取得し、有効活用している企業はほとんどないのが実情だ。一方で、内部統制や個人情報漏えいに対策するために「ログを活用せよ」という経営からの要求は強まるばかりだ。 では、なぜログを有効活用できないのか。今回は、情報セキュリティビジネスの先駆者であり、総務省のCIO補佐官としても活躍しているS&Jコンサルティング 代表取締役の三輪信雄氏に話を聞いた。 多くの企業はログ砂漠が拡大を続けている 三輪氏はまず、「目的を持ってログをとっていない企業がほとんどだ。いわば、不毛なログの砂漠が拡大し続けている状態だ」と現状を分
TechNet Script Center
Summary: Using PowerShell to identify RPC ports in use by capturing content from PowerShell We'd like to introduce you today to one of our newest bloggers! It's a froopingly awesome friend of ours, Joel Vickery, PFE. (did I mention Dr. Scripto is a big fan of books written by Douglas Adams?....oops!) Take it away Joel! Thanks Doc! So ...
膨大なログから必要な情報を素早く抽出──システム管理者の悩みを解消するITサーチエンジン「Splunk」 | OSDN Magazine
システム運用において、トラブルシューティングやチューニング、法令などの理由でさまざまなログを取得・保管していると思うが、必要な情報を見つけ出すためには、どこに記録されていているのか、抽出するためのキーワードは何が適切かといった情報を事前に整理できていることが必要となる。とくにトラブル発生時は素早い対応が要求されるが、必要な情報を手軽に素早く取り出す手段を用意していない運用は多いのではなかろうか。そういったときに役立つのが、さまざまなログから情報抽出を行えるマクニカネットワークスの「Splunk」というツールだ（開発元は米Splunk）。 「ITサーチエンジン」と呼ばれるこのツールは、さまざまなログを取り込み、インデックス化し、素早く横断的に検索して情報を抽出できる。一般的なファイルのログのほか、設定ファイルやコンピュータリソース（CPU、メモリ、ネットワーク帯域など）の使用状況、データベー
Yahoo!ショッピングにおけるログ設計と監視
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、ショッピング事業部開発部の吉野と申します。 今回は「アプリケーションログの設計と監視」について、実際にYahoo!ショッピングで採用している方法を少し交えながらお話しさせていただきます。 1.ログ設計のポイント ログ設計は、以下のポイントに注意して行うとよいでしょう。 ・ログ出力のポイントが押さえられているか ⇒セッションの始まりと終わり、処理の過程、例外処理の中など。 フローチャートのような処理フロー図があれば、そこにログ出力ポイントを書き込むとわかりやすくなります。 ・出力する情報に過不足はないか ⇒「いつ(システム時間)」「だれが(プロセスID・IPアドレスなど)」 「どこで(パスなど)」「なにをした(実行コマン
米Facebook、ログデータ収集サーバー「Scribe」をオープンソースに | OSDN Magazine
米Facebookは10月24日（米国時間）、自社開発のログデータ収集サーバー技術「Scribe」のソースコードを公開した。大量データに対応するよう設計されているという。ライセンスは「Apache Licence 2.0」を採用、SourceForge.netのWebサイトでダウンロードできる。 Scribeは、Facebookが実際に自社インフラで利用しているログ収集システムで、多数のサーバーから寄せられるログデータをリアルタイムに収集する。ユーザー数の拡大に対応するため、自社開発したという。開発にあたり、Facebookがオープンソースとして公開している開発ツール「Thrift」を用いた。PHP、Python、C++、Javaなどのコードからログメッセージを収集できる。 特徴は拡張性と信頼性。クライアント側を変更せずに拡張が可能で、データセンター間でメッセージをやり取りする際のバッチ処
発展しつつあるJavaのロギング
Ceki Gulcu氏はJavaのロギングの世界で良く知られている。彼は、JREの中のロギングに含まれていないにもかかわらず、非常に人気のある独自のJavaのロギングフレームワークである、Log4Jを創設した。彼は次にJakarta commons-loggingからSLF4J(Simple Logging Facade for Java)への置き換えに取りかかった。 昨年中、Cekiが取り組んだ新しいプロジェクト「信頼でき、ジェネリックで、高速かつフレキシブルな、Javaのためのロギングフレームワーク」LOGBackは、ちょうど1年以上前に0.1アルファをリリースしてから、勢いを増しつつある。 Xavier Hanin氏は彼のLOGBackの経験について述べた。 リリース間近の1.0と採用者のなかなか好意的な批評は、LOGBackに注目し、それがあなたにとって役に立つかを確かめる、よい時
Apacheのログを解析してRSSに出来るPHP5用クラスライブラリ「Apache Log Analyzer 2 Feed」:phpspot開発日誌
Apacheのログを解析してRSSに出来るPHP5用クラスライブラリ「Apache Log Analyzer 2 Feed」 2007年06月11日- Apache Log Analyzer 2 Feed ApacheLogAnalyzer2Feed is a really powerful open source PHP 5 class to parse and analyze Apache Web Server log files. Apacheのログを解析してRSSに出来るPHP5用クラスライブラリ「Apache Log Analyzer 2 Feed」。 このクラスを使って、例えば次のようなことが出来るようです。 Googleのクローラーがサイトにいつ訪れたか？をRSSによって配信 Googleのクローラーがサイトのどのページにいつ訪れたか？をRSSによって配信 ユーザがいつ、どの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
