vmstatの出力をファイルに保存する:Technical tips:Media hub
vmstatの出力を後でExcelでグラフ化するといった時に、時刻と一緒にファイルに出力できると便利。 vmstatの出力がある程度(全部？)まとめてリダイレクトに出力されてしまうのでなかなかリアルタイムにファイル出力させるのが難しいという話。 対策として $ vmstat -n 10 | gawk '{ print strftime("%Y/%m/%d %H:%M:%S"), $0 } { fflush() }' > vmstat.log とすると良い。 $ vmstat -n 10 | awk '{ print strftime("%Y/%m/%d %H:%M:%S"), $0 }' で時刻を追加するところまでは分かるけどフラッシュしないとファイルに出力されないというのはなかなかハマるのでメモでした。 http://d.hatena.ne.jp/higher_tomorrow/touc
ちょい足しawkの基本|ざる魂
$ awk '[BEGIN {各行を処理する前の処理}] [パターン] {各行の処理} [END {各行を処理した後の処理}]' BEGIEN, END, パターンは省略できる("[]"でくくったもの) 例は以下。アクセスログのステータスコードが200のものを出力 awk '$4 == "200" {print $4,$5}'# $4が200のとき、$4,$5を表示 awk '$4 != "200" { print }' # $4が200でないとき、1行まるごと表示 awk '$4 ~ /200/ { print }' # $4が200のとき、1行まるごと表示(正規表現) awk '$1 ~ /^a/ { print}' # $1が"a"で始まるとき、表示(正規表現) awk '$1 !~ /^a/{ print}' # $1が"a"以外で始まるとき、表示(正規表現) (例)
Kazuho Oku on Twitter: "えー、「catはposix_fadivse(SEQUENTIAL)してるからOSに指示する先読み量が２倍になる」が正しい説明じゃないの？ 参考: http://t.co/7ugqN3FKy2 の Notes / “大きなテキストフ…” http://t.co/fjxagg5yke"
えー、「catはposix_fadivse(SEQUENTIAL)してるからOSに指示する先読み量が２倍になる」が正しい説明じゃないの？ 参考: http://t.co/7ugqN3FKy2 の Notes / “大きなテキストフ…” http://t.co/fjxagg5yke
大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablog
以下、長々と書いてますが、結論は ”私の環境で”大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablogに書いてます はじめに awk file より cat file|awk のほうが速いという以下のブログエントリが興味深いので調べてみました。 ちなみに cat file|awk が速くなる環境は稀で、巷では awk file のほうが速い環境のほうが多いようで、どちらが速いかは環境依存です。 [root@localhost sample]# cat command1 awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' sample.txt > result1.txt （中略） [root@localhost sample]# time sh command1 real 0m53.92
大きなテキストファイルをawkで処理するときにcatで投げ込むのと、ファイル読み込みするのどっちが速いか比較 - カメニッキ
追記が増えたので整理 経緯 2.5GBのテキストファイルを加工する必要があり、①vimで開いて加工→vim死亡②sublime textで開いて加工→sublime text死亡となったため、awkを用いて以下の様なコマンドを実行した。 $ cat sample.txt | awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' > result.txt すると 「catいらなくね？」と指摘 さらにMATSUMOTO, Ryosuke (@matsumotory) | Twitter ＜ 「キャッシュに入れて高速化してるんかと思った」 とコメントをもらいました。ので、どっちが速いかの検証です。 注意 加工の目的はログファイルからある期間だけの行を抜き取りたい 正規表現がいけてないのは気にしない 比較 awkにファイル指定す
環境に依存しないワンライナーを書くならsedよりperlの方がいい - Qiita
まえがき sedで環境に依存しないワンライナーを書きたかったけど、BSDとGNUの実装で微妙に挙動が違うせいで難しかった。で、いっそのことperlで書いた方がいいのでは、という結論になった。ぐぐったらperlのワンライナーの書き方出てくるけど何でそう動くのか分からなかったのでそれも調べた。そこらへんについてまとめる。 GNU sedとBSD sedの違い、perlからsedへの乗り換え方簡易版、その詳細、という感じでまとめたので知りたいところからどうぞ。 sedにはGNU sedとBSD sedがある sedで とかしようとすると実行する環境によって失敗する。 sedにはBSDの実装とGNUの実装があるからだ。-EはBSD sedで拡張正規表現を使うオプションで、GNU sedで拡張正規表現を使いたければ-rを使う必要がある。 じゃあ拡張正規表現を使わずにデフォルトの正規表現を使えばいいの
JSA Yoshifumi Tanaka
AWKはテキストファイル操作ができる簡易言語です． ホームページCGIに利用します． 旧ファイル群 /usr/bin/awk /usr/libexec/awk /usr/share/awk /usr/man/man1/awk.1.gz /usr/share/man/man1/awk.1.gz 最新awk： gawk-3.1.5.tar.gz gawk-3.1.5-ps.tar.gz 資料 ftp://ftp.gnu.org/gnu/gawk/ http://dir.yahoo.com/Computers_and_Internet/Programming_Languages/awk/ Linuxをインストールすれば日本語AWKが付属しています． 推薦する本：プログラミング言語AWK(トッパン) man awk 目次に戻る．
Ａｗｋプログラミング入門−第17回
講座「文系のためのａｗｋプログラミング入門」 今回のテーマは連想配列です。連想配列は、Ｃ言語やBasic言語にもない独特の配列です。Ｃ＋＋ や ｐｅｒｌなど比較的新しい言語には同様の実装がなされています。連想配列も名前からわかるように配列の一種なんですが、前回学んだ配列の添え字は数でした。連想配列は数ではなく文字列を、添え字にしたものです。使い方を覚えれば実にユニークなテキスト処理のツールに成ります。 I 連想配列 実例を示しましょう。 # script 17-1 BEGIN{ meibutsu["大阪"] = "たこやき" meibutsu["名古屋"] = "きしめん" meibutsu["福岡"] = "辛子明太子" meibutsu["静岡"] = "お茶" print "大阪の名物は " meibutsu["大阪"] print "名古屋の名物は " meibutsu["名古
統計屋のためのAWK入門 - あんちべ！
はじめに 本稿はAWKという言語を用いて、 ごく簡単にデータ分析用の前処理*1をするための解説記事です。 AWKは短いコマンドを記述するだけで多様なデータ処理を可能にします。 特にデータの抽出に関して恐るべき簡易さを提供します。 具体的には、input.txtというファイルの中から "fail"という文字列を含む行を抽出したければ次のように書くだけです。 awk /fail/ input.txt つまり、スラッシュ記号で文字列を指定するだけで その文字列を含む行を抽出できるのです。 大変簡単ですね！ また、awkはLinuxやMacには標準で入っており、 Windowsでもawk.exeを一つ用意するだけなので、 面倒なインストール作業や環境構築は不要で誰でも即座に使えるため、 自分で書いた処理を他人に渡したり*2各サーバに仕込むなども簡単に出来ます。 複雑な処理をする場合はPythonや
AWKで１項目以外を簡単に出力したい - OKWAVE
最後のフィールドだけ消せばいいのなら、組み込み変数NFをデクリメント してやればいいです。$7=""だと中身が空のフィールドになるだけなので 余計なセパレータが出力されるように見えているのです。 ひょっとしたらNFをデクリメントしたあとで$0の再構築を 強制的にさせる必要があるかもしれません($0=$0 とか $1=$1で やってくれるはず)。 ありがとうございました。 awk 'BEGIN {FS="|"} {OFS="|"; $7=""; NF=6; print $0}' ./aaaaでうまくいきました。 $0の再構築は必要ないようです。 入力：111|222|333|444|555|666|777 出力：111|222|333|444|555|666 awk 'BEGIN {FS="|"} {OFS="|"; $7=""; NF=6; $0=$0; print $0}'./aaaa
AWK で十分ですよ - その1 - 和，平均，最大，最小
2011年 8月 1日 掲載 「AWK なんて化石だ」 Perl を使っていたころはそう思っていた． が，データを解析する分には，AWK で十分どころか， Perl なんかを使うよりずっと楽だということがわかり， 今では毎日 AWK のお世話になっている． そんな AWK でいかに処理が簡単に書けるかを，この連載では紹介していこうと思う． このような趣旨で書いていくので，掲載するスクリプトは簡単なものばかりになる． あらかじめご承知おき願いたい． 今回は，超基本的な統計量を求めるスクリプトを紹介する． まずは，サンプルデータの用意である． もちろん AWK で作る． $ awk 'BEGIN{for(i = 0; i < 100; i++) print rand()}' > data.txt これで，100個の乱数列が書き込まれたファイル data.txt ができたはずである． $ wc
『fugafuga』 unixｺﾏﾝﾄﾞﾒﾓ -LinuxTips- : 任意の列の数値合計を求めるunixワンライナーコマンド例 -行間連結 paste-
2008年07月29日09:13 任意の列の数値合計を求めるunixワンライナーコマンド例 -行間連結 paste- カテゴリ数える・集計する・探す ぎょ、行間連結。。。。paste ヘビーワンラーナー御用達コマンドですね？φ（。。；；；） 勉強になります。 JM Projectより引用 http://www.linux.or.jp/JM/html/GNU_textutils/man1/paste.1.html paste - ファイルを行間で連結する 【書式】paste [-s] [-d delim-list] [--serial] [--delimiters=delim-list] [--help] [--version] [file...] -s, --serial ファイルをひとつの行にし、それぞれの次の行にファイルを追加していく。 -d, --delimiters delim-l
データ集計コマンドを極めてシステム処理と業務速度を爆速化するお話 - Y's note
Index データ集計コマンド 爆速で検索したいぜ！ lookを使う LC_ALL=Cを設定する データのランダムサンプリングがしたいぜ！ sedを使う awkを使う sortの--random-sortを使う Script言語を使う shufを使う ランダムサンプリング速度比較 合計と平均値を集計したいぜ！ 列データ取得 重複行のカウント 合計値出力 平均値出力 複数ファイルのデータ結合がしたいぜ！ 共通項目での結合 同じ行数での結合 まとめ データ集計コマンド joinコマンドが便利過ぎて生きるのが辛い - Yuta.Kikuchiの日記 lookコマンドによる二分探索が速すぎて見えない - Yuta.Kikuchiの日記 今日はデータ集計を行う上で絶対に覚えておいた方が良いコマンドと知識を紹介したいと思います。これを身につければシステム処理と業務効率化に大きく繋がると思います。この記
awk 正規表現で絞込みの速度 - おぼえがき
time awk -F" " '/正規表現/ {print $1,$5}' ${ファイル} real 0m13.641s user 0m13.528s sys 0m0.127s time awk -F" " '{print $1,$5}' ${ファイル} | grep '正規表現' real 0m2.331s user 0m3.505s sys 0m0.208s んーーー。 処理速度がぜんぜん違う。 前者のほうが、個人的には良いんだけど、この速度差を考えると、 後者だなぁ。 何でだろう。。。 って思ってたけど、 time awk -F" " 'match($5,/正規表現/) {print $1}' ${ファイル} real 0m2.101s user 0m1.971s sys 0m0.136s おおーー速くなった。 awkの組み込み関数のmatchを使えば、指定したフィールドに対して正規
AWK Users JP :: クロス集計を AWK で
クロス集計をBash(とawk)だけで実装した話 にインスパイヤされて AWK で作ってみます。 ここでは クロス集計をBash(とawk)だけで実装した話 の資料の P. 5 にある左の表を右の表の形式に変換します。 ここでは以下のような表を準備しました。 $ cat sample.txt User Item Money A Ice 130 A Ice 180 B Juice 120 B Ice 130 I OREO 210 I OREO 210 I OREO 210 ユーザー (User) と商品 (Item) の重複を避けるために連想配列にインデックスと値が同じものを構成しています。 #! /usr/local/bin/gawk -f # table.awk NR > 1 { user[$1] = $1; item[$2] = $2; money = $3; total[$1, $2
クロス集計をBash(とawk)だけで実装した話
OSC・シェルのプロが語る『make を使ったデータ処理。』 【make 教】 - OSC2015 Tokyo/Spring 発表資料
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ふみやす＠シェルまおう(自称でない) on Twitter: "awk の処理の単位は行だけど、read(2) する単位は GNU awk で 4kiB、Solaris 10 awk で 8kiBだった。GNU cat は 128kIB、Solaris は mmap。 https://t.co/PIsSErBfHf"
これは強力！ AWKとパイプの新しい関係 ～ 時刻を取得する関数、Socket通信、双方向パイプ
USP MAGAZINEコラボレーション連載／「シェル芸」に効く AWK処方箋一覧
区切り文字がASCII 001なファイルを扱う - sgykfjsm.github.com