Groupon: アナリティクスシステム改善の取組み - ワザノバ | wazanova
http://vimeo.com/96931912 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約1時間前 GrouponのEngineering ManagerであるChris Powersが、同社のGeekfest Chicago Eventで、アナリティクスシステム改善の取り組みを紹介しています。 ２年半前に改善の取り組みを開始 事業の拡大に伴ってアナリティクスの需要は、CEOへの報告から、マーケ/開発の現場の利用、データサイエンティストの分析まで様々。しかし、各チームがバラバラに複数のアナリティクスシステムを運用していて、オーナーシップを取るチームはなし。 トラッキング用にページあたり20-30ピクセルを仕込んでいて、つまりユーザ当たり 20-30 GETリクエスト / ページとなり、サーバ負荷が過大
増えるログ、多様化するログをどう効率的に運用するか
増えるログ、多様化するログをどう効率的に運用するか：今さら聞けないfluentd～クラウド時代のログ管理入門（1）（1/2 ページ） 仮想化やクラウド化、モバイル化の進展に伴い、管理すべきログが多様化・肥大化しています。そんな中でも効率よく、意味のあるログ管理を実現するツールとして注目されている「fluentd」を、これから始めたい方のために一から解説します。 システムを安定して効率良く運用していくために、ログ管理は欠かせない要素の1つです。仮想化やクラウド化、モバイル化の進展につれてシステムはますます大規模化し、それに伴い管理すべきログが多様化・肥大化する傾向にあります。 fluentdはこういった中でも、効率よく、意味のあるログ管理を実現するために非常に有用なツールです。本連載では、fluentdの基本と具体的な活用方法を紹介します。 ログ管理の現状と課題 環境の仮想化・クラウド化、さ
ウノウラボ Unoh Labs: PHPによるテキストファイルへのロギング
yamaokaです。 PHPでwebアプリケーションを作成するとき、 皆さんはロギング（ログの出力）をどうされているでしょうか。 今回は、テキストファイルへロギングする方法をいくつか紹介したいと思います。 error_log関数 syslog関数 PEAR::Log log4php Zend_Log error_log関数 PHPでは、標準の関数として error_log関数が用意されています。 使い方はとてもシンプルです。2番目の引数に「3」を指定することで、 テキストファイルにログを出力することができます。 error_log('message', 3, '/var/tmp/app.log'); syslog関数 また、syslog関数も 標準で用意されている関数です。syslog経由でテキストファイルにログを出力することができます。Windowsの場合は、イベントログでエミュレートさ
Apacheログに色を付けて快適tail生活 - y-kawazの日記
ツイッターで「Apacheログをtail中にステータスコード部分だけに色つけしたい」ってのを見たので作ってみた。 #!/bin/sed -f ## MEMO # [0m reset # [1m bold # [3m italic # [4m underline # [5m blink # [30m black # [31m red # [32m green # [33m yellow # [34m blue # [35m magenta # [36m cyan # [37m white s/\(HTTP\/1..\"\) \(2[0-9][0-9]\) /\1 \x1b[34m\2\x1b[0m / s/\(HTTP\/1..\"\) \(3[0-9][0-9]\) /\1 \x1b[32m\2\x1b[0m / s/\(HTTP\/1..\"\) \(4[0-9][0-9]\) /\1
大規模インフラの監視システム その2 | GREE Engineering
こんにちは。グリーのmdoi(@m_doi)です。 今回は、グリーの監視システムについて説明したいと思います。以前、こちらの記事にて、リソース監視システムの説明をさせて頂きましたが、死活監視やログ監視については語られなかったので、気になっていた方も多いと思います。ということで、今回は、グリーのインフラにおける死活監視やログ監視、アラート通知システムを紹介したいと思います。 何を使っているの？ グリーでは、死活監視にNagiosを使用していました。監視システムの中では、かなり有名なソフトウェアですから、監視システムの構築に使用したことがある方も多いのではないでしょうか。プラグインも豊富に存在するので、様々な監視を行うことができます。死活監視は、このNagiosの機能をそのまま利用し、ログ監視は、Nagiosと独自に作成したエージェント及びログフィルタを連携させて行っていました。 全体のシステ
サーバログについて
SVシリーズでは、以下に示す 4 種類のログ ファイルが使われます。 E-mail ログファイル (/var/log/maillog に保存されます) FTP ログ ファイル (/var/log/messages に保存されます) Web ログ ファイル (/usr/local/apache/logs に保存されます) System logs (/var/log に保存されます) 各ログ ファイルに記録される情報は、サーバ動作診断時に役立ちます。ログデータは非常に役に立つものですが、定期的に管理しないと問題の原因になることもあります。 バーチャル SMTP サーバに届いたメールがダウンロードされると、sendmail によってその処理が /var/log/maillog にログ記録されます。POP や IMAP アカウントに対するアクセスも、このファイルにログ記録されます。 デフォルトの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fluentd を使った大規模ウェブサービスのロギング - 2nd life (移転しました)
Googleの並列ログ解析向け言語「Sawzall」が公開されたので使ってみた | Preferred Research Blog