Apacheのアクセスログをsyslog経由で出力するためのモジュールを作りました : DSAS開発者の部屋
皆さんは、負荷分散環境でのApacheのアクセスログをどのように取り扱ってますか？ 通常、Apacheのログは動作サーバ上のローカルファイルとして出力されるので、 Webサーバを同時に何台も稼働させて負荷分散を行うような環境では、それらすべ てのWebサーバのログファイルを集めなければなりません。ローカルファイルとし て出力されるということは、Webサーバの台数分だけログファイルがばらけること を意味します。考えるだけでめんどくさいですね。 KLabでは、このApacheログを2パターンを使い分けて集めています。ひとつは syslogによるリモート出力を使い、全Webサーバからのログ出力を一か所に集中さ せる方法です。これは、CustomLogディレクティブにloggerコマンドを使用するこ とで可能です。 CustomLog "|/usr/bin/logger -p local6.inf
オープンソースのデータウェアハウスシステム「CloudBase」 | OSDN Magazine
企業ディレクトリサービスの米Business.com（米R.H. Donnelley Interactive傘下）は10月24日（米国時間）、「Hadoop」ベースのオープンソース・データウェアハウスシステム「CloudBase」を公開した。ANSI SQLを利用して、フラットログファイルにクエリを実行できる。SourceForge.net経由でダウンロードできる。 オープンソースの分散コンピューティング技術であるHadoopのMap-Reduce実装を利用して、フラットログファイル上にデータベース抽出層を構築した。これにより、ANSI SQLを利用して、Webサイトなどのフラットログファイルに直接クエリを実行できる。複雑なリレーショナルデータベースクラスタなしにログデータを分析できるという。 当初、Business.comなど自社サイトのWebログ分析を高速化するツールとして社内開発した
Facebook，自社開発のログ・データ収集ソフト「Scribe」をオープンソース化
米Facebookは米国時間2008年10月24日，同社が各種サーバーのサービス・ログを収集するために使用しているシステム・ソフトウエア「Scribe」をオープンソース・ソフトウエアとして公開したと発表した。オープンソース・コミュニティSourceForge.netのWebサイトでソースコードを提供している。 Scribeは，大量のサーバーで運用しているさまざまなサービスのログ・データをリアルタイムに集めるインフラ・ソフトウエア。同社はScribeをデータベースのメモリー使用量の監視など，多種多様な目的に使っている。日々発生する膨大な情報を集めることが可能で，拡張性が高く，ネットワークやマシンに障害が発生しても継続作動する堅牢性を備えるという。 かつて同社は，オープンソース・ソフトウエアや特定ベンダーの製品を使ってログを集めていた。しかし，大量のデータに対処可能なシステムを構築できなかった
syslogdの限界と次世代シスログデーモン（1/3） ― ＠IT
UNIX系OSのシステムロギングをおよそ20年の長きにわたって支えてきた「syslogd」にも、限界が見えつつあります。その限界を打ち破る機能を備えた新しいシスログデーモンを紹介します。（編集部） シスログデーモン「syslogd」は、UNIX系OSのシステムロギングをおよそ20年の長きにわたり支えてきました。しかし、増大する信頼性や安全性への要求、ログの適正保管といった要望に応えるには、syslogdでは力不足との声が高まっています。 そんな折、システムロギングをより確実に行い、RDBMSへのデータ保存や監視システムの連携といった可用性にも優れた、「syslog-ng」や「rsyslog」が注目を集めています。この連載では、こうした次世代シスログデーモンを取り上げ、導入方法や活用方法を解説します。 システムロギングとsyslogd 実行したイベントの履歴、システム不調や変更の記録、不正ア
特集：システム管理 トラブルシューティングを目的としたApacheログ設定の調整法 | OSDN Magazine
Apache Webサーバ（以下Apache）には強力なログインフレームワークが付属しており、デフォルト設定下のApacheでは、エラーに関するすべての情報がエラーログ、アクセスに関するすべての情報がアクセスログに記録されるようになっている。こうしたデフォルトレベルのログ情報でもトラフィックパターンの解析やエラーに関する基本情報の収集には充分であろうが、トラブルシューティングとなると不充分なこともある。いずれにせよ、利用可能なすべてのログ機能を把握しておくことは、Apache上でホストするアプリケーションやWebサーバのトラブルシューティングに役立つはずだ。 FedoraにインストールしたApacheの場合、デフォルト設定下のアクセスログは/etc/httpd/logs/access_logに、エラーログは/etc/httpd/logs/error_logに保管される。このうちアクセスログ
tips - ApacheのLogフォーマットの方を変えて高速化 : 404 Blog Not Found
2007年10月05日00:00 カテゴリTipsLightweight Languages tips - ApacheのLogフォーマットの方を変えて高速化 というより、高負荷サーバーの場合、ApacheのLog Formatを変更しちゃった方がいいでしょう。 ? （高速に）Apache の log を解析する正規表現 : a++ My RSS 管理人ブログ こんなの広めちゃいかん と思いついついエントリ。具体的には、 LogFormat "%h\t%l\t%u\t%t\t\"%r\"\t%>s\t%b\t\"%{Referer}i\"\t\"%{User-Agent}i\"" combined_tsv ないし、さらに LogFormat "%h\t%l\t%u\t%t\t%r\t%>s\t%b\t%{Referer}i\t%{User-Agent}i" combined_tsv として
syslog-ng用のAjaxインタフェース登場 - Avast-ng 1.0 | エンタープライズ | マイコミジャーナル
3日(米国時間)、Avast-ngの最新版にして初のメジャーリリースとなる「Avast-ng 1.0」が公開された。Avast-ng(A Versatile Ajax Syslog Tailer for syslog-ng)はおもにJavaScriptとPHPを活用して開発されたsyslogログデータ表示用Webアプリケーション。GNU GENERAL PUBLIC LICENSE Version 2のもと、オープンソースソフトウェアとして公開されている。 Avast-ngの主な特徴は次のとおり。 Ajaxを活用したスムーズなインタフェース syslogメッセージのtail表示機能(フィルタによる操作可能) syslog-ngからMySQLにストアされたsyslogメッセージの読み込み可能 組み込みクエリビルダを使った新しいフィルタの作成および編集機能 出力の一時停止機能 Avast-ng
1秒で10万行を処理するフリーの超高速なログ解析ソフト「Visitors」 - GIGAZINE
GIGAZINEのログは膨大な量になっているため、以前まで使っていた「ApacheLogViewer」では毎日のアクセス解析に時間がかかりすぎるのと、今後のさらなるログの増大を考えると不安を覚えたので、いろいろと試してみた結果、「Visitors」というアクセスログ解析ソフトが超高速でよかったです。 大体、10万行を1秒～2秒ほどで処理してくれます。しかもサイトへの人の流れをフローチャート化することも可能。ユニークユーザーベースで解析してくれるだけでなく、検索ボットは除外したり、特定のリファラをブラックリストにしてノーカウントすることも可能。非常にすばらしいです。 また、Linux版だけでなく、Windows版も一応提供されています。やろうと思えばWindowsで解析することも可能です。 というわけで、実際にインストールして実運用するまでの手順をメモしておきます。参考になれば幸い。 ■解析
【ハウツー】Javaアプリデバッグ今後の姿? コード不要でロギング - LimpidLog 1.0 (1) コーディング不要? | エンタープライズ | マイコミジャーナル
Java 1.5に導入されたjava.lang.instrumentパッケージの機能を活用すると、実行時にJava仮想マシンからさまざまな情報が取得できる。たとえば、実行時にクラスの情報を取得する、などだ。 最大の特徴は、java(1)コマンド実行時に-javaagentオプションを使ってJarファイルを指定すればそれがエージェントとして動作し、本来のプログラムには一切手を加えることなく目的を達成できる点にある。 java.lang.instrument、とくにInstrumentationを活用した場合、実行時にシステムのモニタリングを実現できる。簡単なものではロギングシステムなどがあり、高度なものでは包括的なシステム監視およびパフォーマンス分析ツールなどがある。ここでは簡単なロギングシステムを実現するプロダクトとしてLimpidLogを紹介する。現バージョンでこのアプリケーション単体で
＠IT：Security Tips > syslogサーバの限界を確認する
UNIXやLinuxなどのログのリモート転送には、syslogを使用する方法が広く用いられている。しかしsyslogは、通常ログメッセージ転送にUDPを使用するため、転送中にパケットが失われたりサーバが高負荷状態に陥りパケットを破棄してしまうような事態が生じた場合、ログサーバに記録されるべきメッセージが残らないという状況が発生し得る。 では、実際にはどの程度の量のログ転送が発生したときにメッセージ欠落が発生し得るのだろうか。大量のログメッセージが発生する状況をあらかじめテストするためには、syslogテストツールであるKiwi SyslogGenなどのテストツールを使用するとよいだろう。 kiwi SyslogGenを使用すると、ターゲットサーバに対して10～2000msの任意の間隔で連続的にメッセージを送出したり、10秒間に100あるいは500といった大量のメッセージを一度に送出するとい
Ywcafe.net
Ywcafe.net This Page Is Under Construction - Coming Soon! Why am I seeing this 'Under Construction' page? Related Searches: fashion trends Top 10 Luxury Cars Top Smart Phones Free Credit Report Contact Lens Trademark Free Notice Review our Privacy Policy Service Agreement Legal Notice Privacy Policy|Do Not Sell or Share My Personal Information
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Molecular Voices » Configuring log4j through Spring