あなたのPHPアプリ、ログはでてますか？あるいはログをだしてますか？ / Are you writing a log? Or just out a log?PHPカンファレンス福岡 2023 2023/06/24 uzulla
DBLog: A Generic Change-Data-Capture Framework
Andreas Andreakis, Ioannis Papapanagiotou OverviewChange-Data-Capture (CDC) allows capturing committed changes from a database in real-time and propagating those changes to downstream consumers [1][2]. CDC is becoming increasingly popular for use cases that require keeping multiple heterogeneous datastores in sync (like MySQL and ElasticSearch) and addresses challenges that exist with traditional
ログ分析勉強会 vol.1 - 資料一覧 - connpass
終了 2015/10/15（木） 19:00〜 ログ分析勉強会 vol.1 セキュリティの陣 kenji kobayashi 他 東京都千代田区平河町2-16-1 平河町森タワー2F
Web企業のログ基盤まわりをまとめてみた - もょもとの技術ノート
はじめに Web企業のログ解析基盤系資料をまとめてみました SlideShare, Speaker Deck, 企業技術ブロクをもとに調査しました 2014年以降の資料に限定（たぶん） 自分用メモ 勢いで調べたので、結構もれてると思う クックパッド Amazon Redshiftによるリアルタイム分析サービスの構築 from Minero Aoki www.slideshare.net リアルタイム分析サービス『たべみる』を支える高可用性アーキテクチャ from Hiroyuki Inoue www.slideshare.net techlife.cookpad.com メルカリ tech.mercari.com SmartNews speakerdeck.com developer.smartnews.com DMM labotech.dmm.com labotech.dmm.com l
LTSV 形式の Web サーバのアクセスログを集計するツールを作りました - tkuchikiの日記
LTSV 形式の Web サーバのアクセスログを集計する、 tkuchiki/alp · GitHub を作成しました。 Install https://github.com/tkuchiki/alp/releases から各 OS 用のバイナリを取得できます。 Linux 以外では動作確認していませんが、おそらく動作すると思います。 Usage Labeled Tab-separated Values (LTSV) の Labels for Web server's Log みたいに log を出力すれば、 $ ./alp -f access.log +-------+-------+-------+-------+-------+-----------+-----------+-----------+-----------+--------+----------+ | COUNT |
謎の独自ERRORログをEmbulk + Elasticsearch + Kibana + PostgreSQLで監視する：運用設計からシステム構築まで - GMOインターネットグループ グループ研究開発本部
2015.05.28 謎の独自ERRORログをEmbulk + Elasticsearch + Kibana + PostgreSQLで監視する：運用設計からシステム構築まで 次世代システム研究室のDevOpsネタ担当（Embulkのコード読んでRuby復習中）のM. Y.です。 前回の記事（ERRORログが多すぎるWebアプリに出会ったら）では、ログ形式が統一されていない、大量のERRORレベルのログを吐き出すWebアプリに運悪く出会ってしまった場合に、そこから何とかログの傾向を把握するためのアプローチについてご紹介しました。 あれから、このアプローチを実践するためのログ監視システムを社内で実際に構築してみました。その結果、Embulk + Elasticsearch + Kibana + PostgreSQLという組合せで、割と手軽に、実用的なものを作れそうなことが分かりましたので、今
「第16回春だからログ解析するぞシェル芸勉強会」を解いてみた。 - labunix's blog
■「第16回春だからログ解析するぞシェル芸勉強会」を解いてみた。 【問題と解答例】第16回春だからログ解析するぞシェル芸勉強会 http://blog.ueda.asia/?p=5644 ■準備0 ログをとってきましょう。 ■ここでログとは事前に用意されたアクセスログのことです。 自身の端末のログを取っても仕方がないので、普通に。 $ wget http://blog.ueda.asia/misc/access_log.nasa.gz; \ wget http://blog.ueda.asia/wp-content/uploads/2015/04/access.log_.shellshock.gz $ du -k *.gz 4 access.log_.shellshock.gz 36476 access_log.nasa.gz ■準備1 access.log.shellshock.gzとa
Kazuho's Weblog: さらば、愛しき論理削除。MySQLで大福帳型データベースを実現するツール「daifuku」を作ってみた
さらば、愛しき論理削除。MySQLで大福帳型データベースを実現するツール「daifuku」を作ってみた 先のエントリ「論理削除はなぜ「筋が悪い」か」で書いたとおり、データベースに対して行われた操作を記録し、必要に応じて参照したり取り消したりしたいという要求は至極妥当なものですが、多くのRDBは、そのために簡単に使える仕組みを提供していません。 daifukuは、RDBに対して加えられた変更をトランザクション単位でRDB内にJSONとして記録するためのストアドやトリガを生成するコマンドです。 % daifuku dbname tbl1 tbl2 > setup.sql のように実行すると、指定されたテーブル（ここではtbl1とtbl2）にセットすべきトリガや、更新ログを記録するためのテーブル「daifuku_log」を生成するCREATE TABLEステートメントなど、必要なSQL文をset
ログをカラフルにしてもっと見やすく！『ccze tool』 | 俺的備忘録 〜なんかいろいろ〜
今回は、catやtailと組み合わせてログをカラフルに色分けし見やすくする『ccze tool』を紹介する。 1.インストール まずはインストール。 以下のコマンドを実行する。 sudo yum install ccze --enablerepo=epel (CentOSの場合) sudo apt-get install ccze (Debian/Ubuntuの場合) 2.コマンドの実行 さて、それでは実際にコマンドを実行してみよう。 tailコマンドで、「/var/log/messages」を確認する。 tail /var/log/messages | ccze -A 上半分はcczeを利用していない状態。 下半分でcczeを用いている。 うーむ、確かに見やすい… むろん、「tail -F」でも閲覧可能だ。 tail -F /var/log/messages | ccze -A ちなみ
CentOS で HA Proxy のログが取れなくてドハマりした記録とログフォーマットについて | iret.media
CentOS で HA Proxy を動かそうとして HA Proxy 自体のログはどこぢゃ？と思った皆さん、おはようございます。かっぱ（@inokara）です。 追記 HA Proxy の 1.5.0 が正式にリリースされましたので、引き続きの検証はこの 1.5.0 にて試したいと思います。 はじめに 個人的にどハマりしたのでメモです ついでにログフォーマットとかも調べてみたいと思います 環境 Amazon EC2 CentOS release 6.4 (Final) HA-Proxy version 1.4.24 2013/06/17 環境の構築はせっかくなので Chef Metal を利用します。Chef Metal の本来の使い方とはことなるかもしれませんが、簡単にインスタンスを起動して必要な設定まで行ってくれるのは有難いですな。 ドハマりの記録 haproxy.cfg インストー
nginx-1.7.1でsyslogにログを飛ばせるようになったので試してみた - このブログはURLが変更になりました
nginxのアクセスログやエラーログをsyslogに直接飛ばす機能は商用版のNGINX Plusでのみ提供されていたのだが、1.7.1でオープンソース版にもその機能が取り込まれた。 CHANGES Changes with nginx 1.7.1 27 May 2014 *) Feature: the "error_log" and "access_log" directives now support logging to syslog.早速試してみた。 docker-nginx syslogサーバのホスト名は仮にlogserverとする。 Dockerfile FROM centos:latest ADD nginx.repo /etc/yum.repos.d/ RUN yum install -y nginx ADD access_log.conf /etc/nginx/conf.d
ELBがアクセスログを出力できるようになりました！ | DevelopersIO
はじめに ついにELBがアクセスログを出力できるようになりました！(Elastic Load Balancing Announces Access Logs) ということでやってみました！ 設定 [Load Balancers]画面を開き、設定したいELBを選択します。画面下部の[Description]タブの一番下に[Access Logs]という項目があります！ なおこの項目は新しいManagement Consoleでしか表示されません。以前のManagement Consoleを使用されている場合は、画面右上に青い吹き出しのようなアイコンが表示されていますので、クリックし「Try the new design」の[Click here]リンクをクリックすると、新しいデザインのManagement Consoleに切り替わります。 さて、[Access Logs]の[Edit]リンク
ログ集計システムを自前で作る - Y's note
Index ログ集計システムの要件 DB設計 データ保存方針 table設計 サーバ構成 Fluentd fluentd,fluent-plugin-mysql-bulk install td-agent.conf mysqlにデータが格納される事を確認する 集計用のバッチ その他 Table肥大化防止 可視化 ログ集計システムの要件 爆弾ログ処理班の@yutakikuchi_です。 ログ集計システムというものを作る時に皆さんはどのように対応していますか？ 以下の候補から要件のレベルで使い分けをしている人が多いと予想しています。ざっくりの評価ですが、導入難易度、正確性、可視化、リアルタイム、長期集計、スケール、運用費用という点で評価を書いています。 ツール 導入難易度 正確性 可視化 リアルタイム 長期集計 スケール 運用費用 リンク GA(スタンダード) ○ × ○ ○ ○ ○ ○ Go
ソシャゲ分析講座 基本編（その５）：「ARPPU」を理解する - Real Analytics （リアルアナリティクス）
最近は業務で、ソーシャルゲームの分析＆改善施策の提案を行っています。そこで、本ブログではミニ連載という形で、ソーシャルゲームの分析手法について紹介をしていきます。基本編は8回程度を予定しており、好評であれば応用編も書きます。第5回は「ARPPU」に関してです。 ■過去の連載記事 ソシャゲ分析講座 基本編（その１）：「売上の方程式」を理解する ソシャゲ分析講座 基本編（その２）：「DAU」を理解する ソシャゲ分析講座 基本編（その３）：「継続率」を理解する ソシャゲ分析講座 基本編（その４）：「スペンド率」を理解する ソシャゲ分析講座 基本編（その５）：「ARPPU」を理解する ソシャゲ分析講座 基本編（その６）：「4つのステージとKPI」を理解する ソシャゲ分析講座 基本編（その７）：「イベントの分析」を理解する（前編） ソシャゲ分析講座 基本編（その８）：「イベントの分析」を理解する（後
Varnishのログをsyslog/fluentdで収集
Varnish のログを NCSA 形式で出力し、syslog/fluentd を使って収集する方法を調べた。 OS は Ubuntu 12.04、syslog は rsyslog、 varnish はオフィシャルサイトが提供するレポジトリ経由でインストールしていることを想定。 Varnish はディスク I/O を減らすために共有メモリにログ出力し、ログ取得用のプログラム(varnishlog と Apache のアクセスログ風に整形した varnishncsa)が共有メモリからログ情報を取得するアーキテクチャ。この狙いを無駄にしないログ出力をおこないたい。 今回試すログ出力形式 ローカルの専用ファイルに出力 ローカルの syslog に出力 ローカルの syslog に出力し、リモートの syslog に転送し rsyslog で受信 ローカルの syslog に出力し、リモートの s
node.js の logging library の winston のソースを読む - Mitsuyuki.Shiiba
node.js を使い始めて javascript かわいいなーと思い始めたこのごろ まだ javascript の扱い方から勉強してるんだけど そんなわけなのでソースを読んで勉強しようかなと winston を選んでみた winston は nodejitsu 社が作ってる Flatiron ってオープンソースフレームワークのモジュールの一つとして開発されてるす いくつか便利機能があるんすが query とか、例外ハンドリングとか、profiler とか そのへんは今回は触らずにロギング周りを見ていくす この記事は 東京Node学園祭2012 アドベントカレンダー の 26 日目の記事です。 ファイル lib の中身はシンプル ├── winston │ ├── common.js │ ├── config │ │ ├── cli-config.js │ │ ├─
S3とFluentdを用いた効率的なログ管理 | SmartNews開発者ブログ
ゴクロの大平です。 私にとって一番大事で替えの効かないミュージシャンはさだまさしさんですが、私にとってクラウドコンピューティングのサービスの中で一番大事で替えが効かないサービスはS3です。 多種多様なAPIを用いて柔軟にファイルの操作が出来る事や、”99.999999999％”と謳われている高い耐障害性、S3にあるデータをElastic MapReduceやRedshiftなどを用いて手軽にデータ解析を行える基盤が提供されていることなど、あまりに便利すぎてS3の代替となるサービスを探しだすのが難しい状態です。 もちろん多くのAWSユーザーが同じようにS3の便利さを享受していると思いますし、インターネット上でも多くのブログ等でその魅力が語られています。その中で本記事は既に存在する記事と似たような内容を書いてしまうかもしれませんが、弊社なりのS3の使い方についてご紹介したいと思います。 なお
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
秒間数万のログをいい感じにするアーキテクチャ
https://qiita.com/inokappa/items/3600cb187c9191fd4fe3
Node.js logger: winston