タグ

ブックマーク / qiita.com/ymoch (1)

  • sort コマンドで大容量テキストをソートする - Qiita

    概要 テキストをソートする sort コマンド. 気軽に使えて優秀なコマンドだが, 大容量のデータに耐えられる 点も魅力の一つである. 稿ではこのポイントを紹介したい. 確認環境 以下の sort コマンドの挙動を Mac OS X 上で確認した. 稿のコマンド例はすべて GNU coreutils sort を用いたものである. GNU coreutils 8.31 2.3-Apple 大容量のテキストをソートしてみる sort コマンドは, かなり大容量のテキストを入力してもソートを完遂することができる. 完遂するという要件を満たすだけであれば, マシンスペックにほとんど依存しないことがポイントだ. 試しに大容量テキストをソートしてみよう. 以下に 10,000,000 レコードの乱雑なテキスト 1 をソートする例を示す. $ time (base64 /dev/urandom |

    sort コマンドで大容量テキストをソートする - Qiita
    iww
    iww 2020/03/25
    『バッファがいっぱいになるとバッファ中のデータをソートして, 一時ファイルとして出力する. 入力が完了すると, ソートされた一時ファイルを順にマージ』 なるほどそうやってんのか。 昔の人は賢いな
  • 1