タグ

Unixとgrepに関するGlnのブックマーク (2)

  • GNU grep 2.18リリース: 10倍速くなったと思ったら今度は200倍遅くなっていた | はむかず!

    先日の記事 いまさらgrepが10倍高速化したのはなぜか が思わぬ閲覧数を稼いでしまい、トルコ語の知識を日に広めるのに大きな貢献をしたような気がしますが、みなさんいかがお過ごしでしょうか。 実は先日の記事を書いた時にはすでに2.18がリリースされてたのだが、今回は2.17のときと違って日の大手メディアが取り上げてなかったので、ついつい見落としていた。しかし実は2.18でも大きな変更が!! リリースノート抜粋: grep -i in a multibyte, non-UTF8 locale could be up to 200 times slower than in 2.16. [bug introduced in grep-2.17] なんということでしょう。-iオプションでUTF8のときは2.17で10倍速くなっていたのだが、それ以外のマルチバイトロケールのときは200倍遅くなって

  • 最近覚えたコマンドライン処理の小ネタ - inoshiro's blog

    スクリプト書かないでコマンドだけでテキストファイルの処理ができるといろいろ楽。 最近覚えた使い方をメモメモ。 tsvファイルを特定のフィールドの値で分割する 1 hoge 123 2 fuga 456 3 hoge 111 4 fuga 333こんなファイルがあったとする。ファイル名はdata.txt awk '{file=$2 ".txt"; print > $file; close($file)}' data.txt フィールドの2番目の値に拡張子を付けてファイル名として、そのファイルにprintの出力をリダイレクトする。上のデータの場合はhoge.txtとfuga.txtができる。 close()しているのは、開くファイルが多くなり過ぎるとエラーになるため。 行数が多いファイルの特定範囲を抜き出す 数百万行とかあるログファイルをエディタで開くのはつらいので、特定範囲を切り出してから開

    最近覚えたコマンドライン処理の小ネタ - inoshiro's blog
    Gln
    Gln 2012/01/08
  • 1