連結 grep より 単体 awk: uyota 匠の一手
大量の巨大なファイルを解析する必要があって、プログラムの効率を比べてみた。cat * > /dev/null をするだけで、十五分ぐらい掛かる。毎朝、走らせる予定のスクリプトなので速くしておきたいのだ。一回しか行わないのなら、十五分でも三十分でも大して気にしないのだが、朝の十五分は大差が出る。 そこで最初に目に付いたのが、文字列の検索。ある文字列を含む行は除外した後に、特定の文字列を含む行を処理する。grep と grep -v を連結したほうが早いか、awk のみで処理したほうが速いかを比べてみた。 Solaris で比べたところ、grep を連結したほうがどちらの順番でやっても awk の二倍の実時間三十分掛かった。grep | grep -v でも grep -v | grep でもあまり変わらない。awk だけで処理をすると十五分で終わる。この二つの大きな違いといえばパイプの IO
rubyでワンライナー - arupaka-_-arupakaの日記
rubyでawkのような一行野郎を作る。 rubyはawkのようにファイルを一行ずつ 読み込む処理が可能である。 起動オプションを変えることで、 簡単に実現できる。 たとえば、 a,b,c e,f,g h,i,j のようなファイルがある場合、 ruby -F, -an 'puts $F[1]' ファイル名 とすると b f i 状況としては まず-aオプションで 一行ずつ読み取るモードをオンにする。 その後-nオプションで一行ずつ$Fに入れる。 そのとき自動的に-Fオプションで指定した 区切り","で分割される。 （一行野郎のことは最近はワンライナー というらしい。） 参考ページ： http://blog.lilyx.net/2007/11/29/writing-one-liner-in-ruby/ http://d.hatena.ne.jp/keita_yamaguchi/2008083
AWKのススメ - クックパッド開発者ブログ
はじめまして。インフラチームの菅原といいます。 今年の7月に入社してから、コンソールとにらめっこする毎日を過ごしています。クックパッドのようにアクセスの多いサイトのサーバを扱うことが今まで無かったので、いろいろと勉強になることが多いです。 さて、インフラチームではサーバの状況をモニタリングして、サーバに問題がないかを常に把握するようにしています。そのため日常的にtailでログを追いかけているのですが、そんなときはAWKが非常に便利なことに気付き、最近はかなりAWKにハマっています。 今回は絶賛マイブーム中のAWKの活用例をご紹介したいと思います。 なぜAWKなのか？ 残念ながらAWKの知名度はあまり高くないようで、社内でも「なぜRubyでやらないのか？」と聞かれることがありました。僕も入社するまではcutの代わりぐらいにしか使っていなかったのですが、あるときログ出力の整形に使って以来、AW
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
bash-hackers.org
Charming Python: Functional programming in Python, Part 3
