[B! awk] ryoma123のブックマーク

大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablog

以下、長々と書いてますが、結論は ”私の環境で”大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablogに書いてますはじめに awk file より cat file|awk のほうが速いという以下のブログエントリが興味深いので調べてみました。ちなみに cat file|awk が速くなる環境は稀で、巷では awk file のほうが速い環境のほうが多いようで、どちらが速いかは環境依存です。 [root@localhost sample]# cat command1 awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' sample.txt > result1.txt （中略） [root@localhost sample]# time sh command1 real 0m53.92

ryoma123 2015/07/29

awk

リンク

大きなテキストファイルをawkで処理するときにcatで投げ込むのと、ファイル読み込みするのどっちが速いか比較 - カメニッキ

追記が増えたので整理経緯 2.5GBのテキストファイルを加工する必要があり、①vimで開いて加工→vim死亡②sublime textで開いて加工→sublime text死亡となったため、awkを用いて以下の様なコマンドを実行した。 $ cat sample.txt | awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' > result.txt すると「catいらなくね？」と指摘さらにMATSUMOTO, Ryosuke (@matsumotory) | Twitter　＜　「キャッシュに入れて高速化してるんかと思った」とコメントをもらいました。ので、どっちが速いかの検証です。注意加工の目的はログファイルからある期間だけの行を抜き取りたい正規表現がいけてないのは気にしない比較 awkにファイル指定す

ryoma123 2015/07/23

リンク

awk コマンド | コマンドの使い方(Linux) | hydroculのメモ

awk コマンド 2015/06/22 1つ以上のスペースで区切られた複数列のテキストデータをごにょごにょ処理するときに便利なツール。四則演算だとかもできる。例えば以下のようなテキストファイルがあった場合、 1 2 3 4 以下のコマンドを実行すると awk '{print $1 * $2;}' foo.txt # または cat foo.txt | awk '{print $1 * $2;}' 以下のように出力される。 2 12 区切り文字はデフォルトで1つ以上のスペースやタブが使えるみたい。スペースやタブが間にいくつ連続していても1つの区切りとみなされる。ただ、awkの文法をなかなか覚えられず、なにかやりたいときにはPerlのワンライナーでも同じことができるので、自分はPerlを使ってしまいがち。 HOWTO コンマ区切り(CSV)で処理するには 2014/08/10 -Fオプショ

ryoma123 2015/06/10

awk

リンク

awkで複数の区切り文字を指定したい - HongoWiki

awkでテキストダンプされたデータを操作するときに、fv(fits viewer)のダンプなどを取り扱おうとすると、複数の区切り文字を指定したくなることがあります。 awkの-Fオプションに awk -F'[(区切り文字)]' '{print ..}' ファイル名と設定すれば、複数区切り文字を指定できます。たとえば、あるfitsファイルのfvによるダンプは、以下のようになっているとして、 "2.000000E-01","2.020000E-01","1.604083E+01" "2.020000E-01","2.040000E-01","1.655370E+01" "2.040000E-01","2.060000E-01","1.706812E+01" "2.060000E-01","2.080000E-01","1.758382E+01" "2.080000E-01","2.1000

ryoma123 2015/04/12

awk

リンク

なるべく書かないawkの使い方 - ザリガニが見ていた...。

awkという、古くからのスクリプト言語がある。（1977年生まれ。読み方は「オーク」である。エイ・ダブリュ・ケイではない）man awkをPDFに変換してみると、たったの3ページ強しかない。 $ man -t awk|pstopdf -i -o ~/Downloads/awk.pdf とてもシンプルな言語仕様ではあるが、awkには必要十分な表現力がある。特にテキストを処理する場面においては、最小限のシンプルな記述で、気の利いた処理を素早くこなす。無駄のないawkワンライナーを見ると、ある種の感動を覚える。awk以降に生まれたスクリプト言語は、少なからずawkの影響を受けていると思われる。 awkを知ることで、間違いなく幸福度は上がると思う。いつかきっと「知ってて良かった」と思える時が来るはず。もっともっと、awkを知りたくなってきた。基本動作 awkの基本動作は、とってもシンプルである。