[B! awk] dai_yamashitaのブックマーク

「第16回春だからログ解析するぞシェル芸勉強会」を解いてみた。 - labunix's blog

■「第16回春だからログ解析するぞシェル芸勉強会」を解いてみた。【問題と解答例】第16回春だからログ解析するぞシェル芸勉強会 http://blog.ueda.asia/?p=5644 ■準備0 ログをとってきましょう。 ■ここでログとは事前に用意されたアクセスログのことです。自身の端末のログを取っても仕方がないので、普通に。 $ wget http://blog.ueda.asia/misc/access_log.nasa.gz; \ wget http://blog.ueda.asia/wp-content/uploads/2015/04/access.log_.shellshock.gz $ du -k *.gz 4 access.log_.shellshock.gz 36476 access_log.nasa.gz ■準備1 access.log.shellshock.gzとa

dai_yamashita 2015/04/19

リンク

統計屋のためのAWK入門 - あんちべ！

はじめに本稿はAWKという言語を用いて、ごく簡単にデータ分析用の前処理*1をするための解説記事です。 AWKは短いコマンドを記述するだけで多様なデータ処理を可能にします。特にデータの抽出に関して恐るべき簡易さを提供します。具体的には、input.txtというファイルの中から "fail"という文字列を含む行を抽出したければ次のように書くだけです。 awk /fail/ input.txt つまり、スラッシュ記号で文字列を指定するだけでその文字列を含む行を抽出できるのです。大変簡単ですね！また、awkはLinuxやMacには標準で入っており、 Windowsでもawk.exeを一つ用意するだけなので、面倒なインストール作業や環境構築は不要で誰でも即座に使えるため、自分で書いた処理を他人に渡したり*2各サーバに仕込むなども簡単に出来ます。複雑な処理をする場合はPythonや

dai_yamashita 2014/09/15

awk

リンク

データ集計コマンドを極めてシステム処理と業務速度を爆速化するお話 - Y's note

Index データ集計コマンド爆速で検索したいぜ！ lookを使う LC_ALL=Cを設定するデータのランダムサンプリングがしたいぜ！ sedを使う awkを使う sortの--random-sortを使う Script言語を使う shufを使うランダムサンプリング速度比較合計と平均値を集計したいぜ！列データ取得重複行のカウント合計値出力平均値出力複数ファイルのデータ結合がしたいぜ！共通項目での結合同じ行数での結合まとめデータ集計コマンド joinコマンドが便利過ぎて生きるのが辛い - Yuta.Kikuchiの日記 lookコマンドによる二分探索が速すぎて見えない - Yuta.Kikuchiの日記今日はデータ集計を行う上で絶対に覚えておいた方が良いコマンドと知識を紹介したいと思います。これを身につければシステム処理と業務効率化に大きく繋がると思います。この記

dai_yamashita 2013/08/02

リンク

Apacheのレスポンス分析に必要なスクリプトまとめ - ブログなんだよもん

最近、Apacheのログ解析をすることが多いので、備忘録を兼ねてまとめ。とりあえず、超便利コマンドはawk, sed, grep, uniq, sortあたり。コレを駆使して色々解析する。そして、これを駆使して解析がツライ時は素直にperlやruby, pythonに処理を渡すべきかなぁ。awkが結構なんでもできるので、awkだけでも基本的にはいいけれど。あと、リアルタイム解析じゃなくて前日のログ解析だから基本はzgrepやzcatから始まります。で、ポイントは可能な限りzgrepを使うこと。zcatは一度全部展開するので、トロいし、負荷もでかいです。 apacheのログフォーマットが違うと当然そのまま適用できないので、その辺は適当に変更する感じで。やっぱ、CSV解析はこの辺がネックですね。全部JSONになれば良いのに... 平均レスポンスタイムアクセスログの末尾がレスポンスタイ