Fluentd + Kinesis + Elasticsearch + Kibana / Grafanaでのリアルタイムログ解析基盤 | Tech Blog - リクルート住まいカンパニー
こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視（アクセスログ・エラーログなど）をどのように行われているでしょうか？ スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、csshX地こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視（アクセスログ・エラーログなど）をどのように行われているでしょうか？ スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、 csshX 地獄に陥りました。（以下の図のような状態のことです。） ログの確認が必要になった際に、この csshX を使用して秘伝のワンライナーで確認したい部分をtailして抽出していましたが
PALallax | オープンソースLOG解析ツール
PAN-OS10.2に対応しました。対応OSがubuntu20.04になりました。 こちらよりご利用規約をお読みのうえ、マニュアルページへお進みください。
GoAccessでリアルタイムにアクセスログを解析する - Qiita
GoAccessとは GoAccessは、ターミナル上で動作するリアルタイムログ解析ツールです。 Apacheのログをコマンドライン引数に与えると、リアルタイムにリクエストされているURLやアクセス元ホスト、ステータスコードなどを集計し、画面に表示します。 導入 Macユーザーであれば、Homebrewを使うと、brew install goaccessを実行するだけでインストールできます。 *NIX系の環境であればGoAccessのインストール方法を参照してインストールしましょう。 Ubuntuでは、apt-get install goaccessでもインストールできるようですが、Ubuntu 12.04ではGoAccessのバージョンが0.4.2(GoAccessの最新バージョンは0.7)となっていたので、可能であればソースからインストールするのがよいでしょう。 環境によってはlibg
qmailのログからメール配信されたかを簡単に確認する方法 | colori
ユーザーが沢山登録されているサイトを運営していると、ユーザーから「メールが届かなくなった！なんとかしてくれ！」といった質問、クレームを受けることがあります。 その場合にまずやることが、それがサーバー側のトラブルによるものか、ユーザーの不手際によるものかを切り分ける事です。 大抵はユーザーがメールアドレスを勝手に変更している場合が多いのですが…。 今回はqmailサーバーを運営している場合の簡単な確認方法です。 メール配信開始位置を特定 今回はメールのログが以下のパスにあるものとして書いていきます。 /usr/local/psa/var/log/maillog 「starting delivery … メールアドレス」の箇所を探す 今回探したいメールアドレスを「testmail@colo-ri.jp」としますと、ログを以下のように検索出力すると… # cat /usr/local/psa/v
tarで一部のファイル／ディレクトリを除外してアーカイブする - ろば電子が詰まつてゐる
tarコマンドで何かアーカイブする時、「ログファイルが大きいから、apps/log ディレクトリだけは除外したい」など特定のファイルやディレクトリを除外したいときは --exclude オプションを使う。 以下のように、appsというディレクトリ配下に[apple], [banana]というディレクトリがあり、それぞれサブディレクトリ[analog], [bin], [log]を持っている場合を考える。 macbook:tmp ozuma$ ls -F apps/* apps/apple: analog/ bin/ log/ apps/banana: analog/ bin/ log/ この場合、logディレクトリだけ除外したければ --exclude log としてやる。 macbook:tmp ozuma$ tar cvf apps.tar --exclude log apps a a
さくらVPS512で、Yahoo!砲食らっても WordPress を平常運転させるための設定 - dogmap.jp
2010年の年末に、「カイ士伝」のさくらVPSへの引っ越しを手伝ったわけですが、その後も元気にサーバは動き続けているようです。 引っ越し当初は、Web サーバとして lighttpd を導入してたんですけど、僕の個人的な好みがかわって、途中で Nginx に切り替えました。 特に大きなトラブルもなくサクサクと動いてたようですが、昨日突然の Yahoo!砲で、平常時の数倍のアクセスがあったようです。 Yahoo!砲くらったけど月額980円のさくらVPSとチューニングでサーバー落とさず乗り切ったよ – カイ士伝 ただ、アクセスが大量にあった初日(1記事に5.5万PV)にもサーバ負荷が高くなってるとか気付かずに、余波でちょっと多くなってた翌日(1記事に1.3万PV)に気づいたというくらいの平常運転っぷり。 Nginx 痺れますわー。 僕は、カイ士伝の WordPress ダッシュボードにログイン
LTSV FAQ - LTSV って何? どういうところが良いの? - naoyaのはてなダイアリー
LTSV って何? Labeled Tab-Separated Values という、テキストのフォーマットの仕様です。CSV や TSV や JSON そのほかと同じ、テキストデータのフォーマット名。主にログ、特に httpd のアクセスログなどに適用すると便利です。 仕様は http://ltsv.org にまとまっています。随時更新中です。 LTSV は単なるログのフォーマットであって、それ以上でもそれ以下でもありません。 LTSV ってタブ区切りで値に名前を付けただけのもの? はい、そうです。 これが 127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326 "http://www.example.com/start.html" "Mozilla/4.08 [en] (
combinedに代わるオレ流ログフォーマット - （ひ）メモ
こんにちは、combinedログ撲滅委員会のひろせです。 ApacheのcombinedやNginxのデフォルトのlog_formatは、機械処理(日付でのソートやパース)がしづらい上に、人の目にもあまり見やすいフォーマットとはいえないと思っています。 なので自宅のサーバーでは、 日付は ISO8601 にする sortコマンドとかで簡単にそぉーっとソートできるようになる 日付、レスポンスコード、所要時間とか固定長的なフィールドは左に寄せる URLとかUAとか可変長で長いのは右に寄せる リクエスト(%r)も右に寄せた方ががいいような気がしてきた。。。 数値だけだとわかりづらいのでなんとなくわかるようにフィールド名も添える フィールド名を長くするとわかりやすくなる反面、ログサイズが大きくなるので注意 という観点で次のようなログフォーマットにしています、 # Apache LogFormat
複数のサーバから一斉にファイルを収集するのにpslurpが便利 - Glide Note
以前、ブログに書いて以来、活用しているpsshとpscpなんですが、 付属コマンドのpslurpについてはすっかり忘れて全く利用していなかったんですが、 同僚の刺身さんが結構活用しているというのを聞いて、改めて使ってみると大変便利！ Parallel sshで複数のホストへ同時にコマンドを実行する | Glide Note - グライドノート 環境はSL6.1です。 pslurpの使いどころ 複数のサーバからaccess.logなどのログ、my.cnfといった設定ファイルなどの同名ファイルを持ってくる場合 DNSラウンドロビンや、ロードバランサを利用していてアクセスログが分散している場合 通常何も考えずscpとかで持ってくるとファイルが上書きされてしまうので、 ホスト毎にファイルを分けて管理したい場合にpslurpが活躍します。 pipを利用してpsshの導入 2012年なんでeasy_i
Fluentdというログ収集ツールを使ってApacheのログを取得するまで - kk_Atakaの日記
あらすじ Twitterで@tosikawaさんにこんなツールあるよ、と教えてもらった …が、未見だったためすぐググる とりあえずどんなものか動かしてみる事に Fluentdとは Log everything in JSON http://fluentd.org/ Oh...シンプルイズベスト…。 Fluentd is a log collector daemon written in Ruby. Fluentd receives logs as JSON streams, buffers them, and sends them to other systems like MySQL, MongoDB, or even other instances of Fluentd. Rubyで作られたログ収集ツール。ただし、JSONで……？ 参考サイト Fluentd: Log Everythi
LogFormatディレクティブ：ログファイルのフォーマットを定義する
Apache では Apache で起動している Web サーバにアクセスしてきたユーザーのログを残すことができますが、ユーザーの情報の中からどのようなデータをログとして残すのかについてログのフォーマットを定義することができます。ここでは Apache のログファイルで使用するフォーマットを設定する方法について解説します。
cron で > /dev/null して椅子を投げられないための3つの方法 - 酒日記 はてな支店
(タイトルは釣りです) いい加減、>/dev/null 2>&1と書くのをやめたらどうか - DQNEO起業日記 この記事のタイトルが twitter で流れてきたのを見て、「そうだ！出力を /dev/null に捨てるなんてとんでもないよね！」と思ってよく読んだら /dev/null に間違いなく捨てる方法だったのでつい crontabに > /dev/null 書いたら椅子投げる 2012-06-13 00:01:17 via YoruFukurou とつぶやいてしまったのですが、では出力を捨てないためにはどうすればいいのか。現時点での個人的ベストプラクティスを書き留めておきます。 デフォルト : メールで送る (MAILTO) せっかく cron daemon がログを捨てないためにわざわざメールで送ってくれるのに、それを > /dev/null で踏みにじるとはひどい。 とはいえ、
Apache のログ管理 | バシャログ。
いい年こいていまさらながらチャットモンチーにはまってしまいました。えっちゃんマジ天使。こんにちは nakamura です。 ある程度 Apache を触っている人なら、何をいまさらなちょいネタですが、今日は大体いつも設定している Apache のログ管理の方法をご紹介しようと思います。 まずはローテートする Apache には rotatelogs というコマンドがデフォルトでくっついてきます。こいつを使うと logrotate とか使わずに、日時でログのローテーションが可能になります。logrotate と違って Apache の再読み込みも必要ないしいい事ずくめなので、僕が Apache をセットアップする時は基本的に使ってます。 こんな感じでバーチャルホスト毎に日別でログをローテートしてます。 <VirtualHost *:80> ServerName example.com Ser
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
SHOW FULL PROCESSLIST を使った MySQL のプロファイリング : DSAS開発者の部屋
KLab Advent Calendar 2011 「DSAS for Social を支える技術」の3日目は、 引き続き MySQL 周りのチューニングノウハウとして、すぐに役立つ プロファイリング方法を紹介します。 DBサーバーの負荷が高い時、 slow_log を見て問題になっている重いクエリを 発見するのが一般的かもしれませんが、 slow_log に一切ログが残らないのに 負荷が高い状況や、むしろ負荷が高すぎてごく一般的でどう考えても遅いはずが ないクエリ ("SET NAMES utf8" や "BEGIN") すら slow_log に大量に乗ってしまう場合が あります。 slow_log 以外で問題になっているクエリを見つける方法として、 "SHOW FULL PROCESSLIST" コマンドがあります。これを数回〜数十回叩いてみて、 よく出ているクエリは、遅かったり量が
Apacheログに色を付けて快適tail生活 - y-kawazの日記
ツイッターで「Apacheログをtail中にステータスコード部分だけに色つけしたい」ってのを見たので作ってみた。 #!/bin/sed -f ## MEMO # [0m reset # [1m bold # [3m italic # [4m underline # [5m blink # [30m black # [31m red # [32m green # [33m yellow # [34m blue # [35m magenta # [36m cyan # [37m white s/\(HTTP\/1..\"\) \(2[0-9][0-9]\) /\1 \x1b[34m\2\x1b[0m / s/\(HTTP\/1..\"\) \(3[0-9][0-9]\) /\1 \x1b[32m\2\x1b[0m / s/\(HTTP\/1..\"\) \(4[0-9][0-9]\) /\1
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
現場で役に立たないsudoの使い方
mod_rewrite_tips.html
GNU awk (gawk) を用いた Apache ログ解析方法
fluentd を利用した大規模ウェブサービスのロギング