shell-logger:シェルスクリプトでのログ整形、Traceback機能を追加
B! 6 0 0 0 前に作った shell-logger というシェルスクリプト用ロガーツールをアップデートして Traceback機能を付けたりしてみました。 shell-logger コマンドラインで使う シェルスクリプトの中で使う Traceback 各種設定 shell-logger shell-logger: シェルスクリプトで良い感じにログアウトプットを管理する etc/shell-logger.sh</del>/etc/shell-logger**というファイルを読み込むと debug, info, notice, warn, errと言った関数が使える様になります。 追記: 2022/08/07 現在はshell-loggerとshを取った名前になっています。 追記ここまで インストールはcurlを使って $ curl -fsSL https://raw.github.c
アクセスログからワンライナーで接続元毎、閲覧先毎の接続回数の集計をしてみる。 - labunix's blog
■アクセスログからワンライナーで接続元毎、閲覧先毎の接続回数の集計をしてみる。 ■まずはプロキシのログから。 環境は以下。 $ lsb_release -d Description: Debian GNU/Linux 7.9 (wheezy) ■条件1 対象は非圧縮の「access.log*」とする。 ※「zcat」と混ぜるのも面倒なので。 もっとあるなら、例1のように並べても良いし、 同フォルダに他に無いなら、例2でも良い。 例1「/var/log/squid/access.lo{g,g.1,g.2,g.3}」 例2「/var/log/squid/access.log*」 $ sudo du -h /var/log/squid/access.lo{g,g.1} 920K /var/log/squid/access.log 4.8M /var/log/squid/access.log.1
Lessの便利な使い方
最近 Stop using tail -f (mostly) や 「tail -f」を使うのは情弱、情強は「less +F」を使う などless押しな記事が幾つか上がっているんだけど、タイトルが煽り気味なのか若干反感を呼んでいるようなのでless派が職場で肩身の狭い思いをしないようにもう少し便利な使い方を紹介したい。 tail -fの様なScroll forward less +Fで起動またはless起動中にF 元記事にもあるtail -fと同様の振る舞い。正直この機能と検索だけでいいのであればtailで十分。lessの便利なところは様々な機能との組み合わせにあって、これから紹介する機能は基本的にこのモードと組み合わせが可能だ。あと、less開いてFのほうがタイプが面倒くさくないのでおすすめ。 1行で表示する (改行しない) less -Sで起動またはless起動中に-Sr(-Sでモード切
[MySQL]インデックスによるチューニング〜ログ出力、EXPLAIN、インデックス〜 - Qiita
[mysqld] slow_query_log = 1 #スロークエリログ出力有効化 slow_query_log_file = mysql-slow.log #スロークエリログファイル名 long_query_time = 2 #スロークエリとして認識させる時間[秒] log-long-format #インデックスを使用していないクエリをログに残す 上記の設定は[mysqld]のところに書かなければ正しく変数名を解決してくれないので注意。 slow_query_logはONではなく1としなければスロークエリログ出力が有効化されないので注意。 slow_query_log_fileの場所はfind パス名 -name mysql-slow.logで検索すればわかる。 → /var/lib/mysql/mysql-slow.logに生成された。 long_query_timeで設定した秒数以
![[MySQL]インデックスによるチューニング〜ログ出力、EXPLAIN、インデックス〜 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/71f740f6eb843f8a11c8663c7007db32f7e4fe6c/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCTXlTUUwlNUQlRTMlODIlQTQlRTMlODMlQjMlRTMlODMlODclRTMlODMlODMlRTMlODIlQUYlRTMlODIlQjklRTMlODElQUIlRTMlODIlODglRTMlODIlOEIlRTMlODMlODElRTMlODMlQTUlRTMlODMlQkMlRTMlODMlOEIlRTMlODMlQjMlRTMlODIlQjAlRTMlODAlOUMlRTMlODMlQUQlRTMlODIlQjAlRTUlODclQkElRTUlOEElOUIlRTMlODAlODFFWFBMQUlOJUUzJTgwJTgxJUUzJTgyJUE0JUUzJTgzJUIzJUUzJTgzJTg3JUUzJTgzJTgzJUUzJTgyJUFGJUUzJTgyJUI5JUUzJTgwJTlDJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz02NzMyN2Y0M2UxZTA0ZWZkZjFkZjg4ZTIyYjljNTYxMg%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwc2h1bnRhcm9fdGFtdXJhJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz03NTIzZDczZGI1NzYyYzBhZWM5NjZlOGE1NGE3ODU5YQ%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D78c0c1dac295c4a4e9ea1ab361a7e2b2)
俺とおまえとawk - 俺たちのブログ
「EFK (Elasticsearch + Fluentd + Kibana) なんて甘えですよ、漢は黙って awk | sort | uniq -c ですよ」と誰かが言ってたような言ってなかったような気がするのでログさらう時に自分がよく使う awk 芸について書きます。 想定データサンプル こんなフォーマットで出る TSV 形式の Web アプリケーションログがあったとします。[TAB] はタブ文字です。 時間[TAB]ステータス[TAB]HTTPメソッド[TAB]URI[TAB]リクエストタイム 例えばこんな感じです。このログを awk 芸で処理していきます。 access.log 2014-12-05 12:00:00[TAB]200[TAB]GET[TAB]/api/v1/ping[TAB]0.017832 2014-12-05 12:00:01[TAB]200[TAB]POST[
-- Junky's Dive -- :: note :: FreeBSD :: ログトラップの仕込み
あるログファイルに特定のパターンや特定の文言が出たら それをトラップして対応するアクションを行わせたい… というような仕組みを、 一般にそう言うかどうか知らないが、ログトラップと呼ぶことにする。 出来合いのツールとしては swatch が定番である。 余裕があれば｜面倒クサければ、自作してもよい。 どのようなツールを使うとしても、決めておくことは以下の通り。 監視対象ファイル 引っかけたい文字列 引っかけたあとの挙動 どのユーザで処理するか swatch の設定 導入は依存モジュールの判断が面倒なので、ports から入れると楽だ。 # cd /usr/ports/security/swatch # make install clean あとは上述の４項目を仕込んでいく。 「監視対象ファイル」と「どのユーザで処理するか」は /etc/rc.conf にて設定する。 ユーザは指定しなければ
ERRORログをメールで通知する ～tailコマンド編～ - HDEラボ
By Takehiko Kodama on April 1, 2008 5:52 PM | Permalink | Comments (0) | TrackBacks (0) Linuxを使っていれば、ログファイルのようにどんどん増え続けるファイルの内容を視認するために、「tail」コマンド「-f」オプションを使用して監視する場面が多いと思います。 「tail -f」コマンドは監視対象のファイルのサイズが小さくなっても自動末尾を検知し、そこから読み込みを再開します。 さらに、「--retry」オプションを使用すれば、監視対象のファイルが削除・リネームされても同じ名前のファイルが作成されると再び監視を開始するので、ログのローテーションにも対応できるというわけです。 この「tail」を利用すれば、簡単なスクリプトを使って、検知したメッセージをメールで通知ということも可能になります。 サンプルの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
