たった6個のsedを通せば、Apacheログは驚くほど扱いやすくなる - Qiita
Q. awk '{print $9}'とかでUser-Agent丸ごと取り出したい とか思ったことない? Apacheのログ解析で。でもできないじゃない。例えば 192.168.0.1 - - [17/Apr/2014:11:22:33 +0900] "GET /index.html HTTP/1.1" 200 43206 "https://www.google.co.jp/" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.116 Safari/537.36"
Tailしながらsed,awk等をノーバッファで快適に使う。 - 自分の仕事を憎むには人生は余りにも短い
tail -f した結果をsed,awkしてるとバッファリングされてしまい、ぬるぬる感がなくなっていやですよね。 これは各プロセスがバッファするためなので、バッファしないように指定してあげましょう。 各コマンドのノーバッファの設定は以下の通り。 awk {fflush()} grep --line-buffered sed --unbuffered なのでこんなかんじで快適。 tail -f app.log | grep --line-buffered Grapon | sed --unbuffered -e "s/hoge/hage/" | awk -f '{print $2}{fflush()}'
シェルスクリプトの中で1行ずつ変数を分割する際には、cutとかawkとか余計なプロセスを起動せずsetを使って分割した方が効率的 - 双六工場日誌
シェルスクリプトの中で、スペース区切りもしくはタブ区切りのレコードを扱うことがよくあると思います。 たとえば、前回のエントリ「AWS CLIとjqを使って、AWSのELBボリュームがアタッチされているEC2インスタンス名を出力するワンライナーを書いた - 双六工場日誌」のスクリプトの出力は以下のようになります。 i-ec56a9f5 vol-07d00601 servername i-ec56a9f5 vol-8f550991 servername このようなレコードの特定の列を取り出して、処理する際にどうするのが効率的か、というのがこのエントリのお題です。 非常に古い話題なので、昔からシェルスクリプトを書いている人には自明な話ではありますが、最近、シェルの標準機能の話を聞く機会がなく、失われつつある技術になってきている気がしているので、改めて確認ということで。 例として挙げたレコードから
Ruby - AWK からの移植 - PIB
PIB hack のためのネタ帳, etc,,, トップページページ一覧メンバー編集 Ruby - AWK からの移植 最終更新： kou1okada 2013年03月30日(土) 10:57:22履歴 Tweet 基本的な設定 オプションとして -nlaF"[ ]+" を与えておくと、ほぼ awk と同じ使い方が出来る。 オプション n は awk ライクな処理をするためにプログラム全体が以下のコードで囲まれる。 while gets # ... end オプション l は行末の自動処理の指定。$\を$/と同じ値にすることでprintの末尾に改行(と言うか$\)が追加され、入力も $_.chop! として行末の空白が処理される。 オプション a はオートスプリットモードの指定。n オプションによる各ループの先頭で以下のコードが実行される。 $F = $_.split オプション F は入
【旧版】AWK入門 (全13回) - プログラミングならドットインストール
効率的にテキスト処理を行うことができるAWKについて、その使い方を学びます。
Ａｗｋプログラミング入門−第1回
講座「文系のためのａｗｋプログラミング入門」 I ａｗｋの動作 コンピュータが、あるいはコンピュータ上の一つのプログラムが行う作業は、通常三つの部分に分かれます。データを読み込み、処理を行い、その結果を画面に表示したり、ファイルに書き出したりすることです。たとえば、画像処理のプログラムであれば、読み込むデータは、写真やイラストなどの画像であり、処理はそれらを様々に加工すること、そして、その結果を画面に表示したり、印刷したりします。この三つの過程を、 と呼びます。ａｗｋの場合は、入力するデータは、テキストであり、出力するのもテキストです。この限りではワープロソフトとほとんど代わりませんが、処理の部分が全く異なります。ワープロであればユーザはキーボードから文字を入力したり、マウスでクリックしたりと多様な作業を行いますが、ａｗｋの場合は、処理は一連の作業手続きを記述したプログラム(これをスクリ
AWK Users JP :: awk 基礎文法最速マスター
この文書は書きかけです ここでは nawk (new awk) で使用可能な命令で記述しています。 gawk (GNU awk) を使うことで、さらに効率よい記述を行うことができますが、nawk の文法で覚えておくと全ての awk で使うことができます。 print 文 表示は print 文です。 print "Hello World!"; コメント # 以降がコメントになります。 スクリプトの実行 以下のように '-f' に続いてスクリプトを指定します。 nawk -f foo.awk 複数の awk スクリプトを指定することもできます。 nawk -f foo1.awk -f foo2.awk -f foo3.awk スクリプトを直接指定できます。 # "Hello World" と表示 nawk 'BEGIN { print "Hello World" }' BEGIN, END,
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
bashでパイプとかでつないでバッファされちゃう時