大きなテキストファイルをawkで処理するときにcatで投げ込むのと、ファイル読み込みするのどっちが速いか比較 - カメニッキ

追記が増えたので整理 経緯 2.5GBのテキストファイルを加工する必要があり、①vimで開いて加工→vim死亡②sublime textで開いて加工→sublime text死亡となったため、awkを用いて以下の様なコマンドを実行した。 $ cat sample.txt | awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' > result.txt すると 「catいらなくね？」と指摘 さらにMATSUMOTO, Ryosuke (@matsumotory) | Twitter ＜ 「キャッシュに入れて高速化してるんかと思った」 とコメントをもらいました。ので、どっちが速いかの検証です。 注意 加工の目的はログファイルからある期間だけの行を抜き取りたい 正規表現がいけてないのは気にしない 比較 awkにファイル指定す

[sgo2]

マルチプロセスで動作する(awkの処理中にもcatは読み進める事ができる)からでは? 追記:より正確には「I/O待ちをcatに任せてる間にもawkは処理を進めれらる」かも。awk×2で計測すれば答は出るかと。

[miyaga5000]

catなしawkだと1行ずつ読みそう。catありだと改行気にせずバッファに読むから速いとか？？

[itotto]

このあたりの｢餅は餅屋｣な動きはunixコマンドっぽいなと思う

[tsekine]

テストを root でしてるのは気のせいですかね

[pyamax]

早い！あとcatでパイプ渡すと、カラムの調整やりやすいんすよね。cat hoge.text | awk '{ print $3 }'が$2だったわぁ～とかなった時。

[richmikan]

実験環境はマルチコアまたはマルチプロセッサーのはず。そのような環境であればファイルからデータ引っ張ってくるのとそのデータを処理するので役割分担がなされるから頷ける。リダイレクション"<"でもそうなるはず。

[k2wanko]

読み込みと加工が別プロセスだからかな？

[quabbin]

なるほど、余計なことをしないようにしたほうが速いと思っていたら、パイプでつなげるとそうとも言えないのか…

[shoh8]

メモリ依存な気がする

[kazuhooku]

並列関係ない。timeの出力からリダイレクトの場合だけi/o waitが20秒くらいかかってるのが原因。つまりディスクの先読みがされてない。なぜだろう

[wordi]

ブコメより「パイプで繋がった、catの標準出力とawkの標準入力が並列で動いてるから高速」、との事

[S0R5]

こんなにかわるものなのか

[summer4an]

あら、パイプする分catの方が遅いのかと思った。

[tzik-tack]

awkのバッファサイズが足りてなさそう。 AWKBUFSIZE=1000000 とかしたら速くなるかな。

[pmint]

標準入力のリダイレクト"<"使わんの？/ 小さいファイルでも同じ結果なら速いんだろうな。/ 並列化で速くなるという論理はcatとawkの間にどういう魔法が作用しているんだろ。最近のPCはCPU性能で速くなるものなの？

[shin0O]

(やべえ何やってるかよくわかんねえとかいえねえ)

[akanehara]

「ひとつのことをうまくやる」UNIX哲学ですなあ

[ryuichiueda]

たぶんawkがファイル読むのが標準入力読むより遅くて、catがファイル読むのが早いからですかね。あと、timeの使い方は最初の方法で大丈夫かと。並列はこの場合あまり関係ない。

[uva]

興味深い

[northlight]

catのがはやいのかｗｗ

[amino_acid9]

コメのリンク（https://uec.usp-lab.com/JOURNAL/CGI/JOURNAL.CGI?POMPA=KAIGAN_journal08）も読むと処理が並列で走るから今時のマルチCPUなら結構差が出るってことかな

[masa21kik]

catした方が速いのか

[Magicant]

cat 挟んだ方が早いって、どんだけ OS のディスクキャッシュ機構アホやねん (OS 書いてないけどどうせ Linux だろ)

[RocRoc36]

パイプは並列化するのか。

[kairi-m]

言われてみればあたりまえだけど。パイプで並列化されるのでちょっと早くなるのか。

[motchang]

awk にコントリビュートするチャンスなのでは

[comutt]

複数日（圧縮されていない当日と圧縮された過去日）のログを整形しないといけないときでもzcat -fで対応できるので、パイプします

[yoshi-na]

ブコメも参考

[UDONCHAN]

興味深すぎる

[lambdalisue]

いいまとめ

[n314]

コマンド一つのことがなんか深い

[youhey]

意識しないでついついcatしちゃうこと多いけど、こういう効果もあるのか

[stealthinu]

ブ米の意見だとcatで流し込んだほうがマルチプロセス有効に使えるから速いのではとの推測。確かにそうなのかも。

[dekasasaki]

一見するとbuffersの違いが効いているように思えるけど、実際は2コア使っているから高速になる感じかな。

[sirocco634]

このような速度差が生まれちゃうんですね

[papiro]

ダブルバッファの件も関係しますかね？？ https://uec.usp-lab.com/SHELL_TIPS/CGI/SHELL_TIPS.CGI?POMPA=TIPS_double_buffer

[pero_pero]

やっぱり猫は凄い