巨大テキストファイルをsortコマンドでソートしてみる

巨大なテキストファイルをソートする問題について、sortコマンドの挙動を中心にAmazon EC2インスタンス上で検証を行いました。その結果を記事にまとめたものです。 お題の説明 先日のTwitterでこんな話題がありました。論旨としては、非常に大きくメインメモリに収まらないサイズのテキストファイルをソートしたい場合にどうすればよいか、というものです。 解法はさまざまなものがありえると思いますが、この記事ではsortコマンドによるソートを試してみました。 一般論としての解法 stackoverflowなどを軽く眺める限りだと「普通のsortコマンドが最良ではないか」「GNUのsortは入力が大きい場合は外部ソートをしてくれる」などの回答が見つかります。 https://unix.stackexchange.com/questions/120096/how-to-sort-big-files

[sasasin_net]

実用上十分コスパ良好な解決策に見える。初手はsortコマンドに賛成だし、次点はsortコマンドのオプションを捏ねるでよさそう

[shunkeen]

きちんと検証しててカッコいい／確かに、何度もやるならDWHに入れて欲しい。部分ソート（Partial sorting）の場合も確かに。前提違うけど、一回だけならキーの先頭N文字で複数ファイルに振り分けて、別々にソートしちゃう

[sh19910711]

"stackoverflowなどを軽く眺める限りだと「普通のsortコマンドが最良ではないか」「GNUのsortは入力が大きい場合は外部ソートをしてくれる」など / 2022年現在のハードウェアでも同じ結論になるのか"

[asuka0801]

前提として単にソートだけして嬉しいのかとか考えてしまう。csvから特定行引きたいだけならs3に突っ込んでs3-selectと言う手段が一番楽だし、それこそCOPYコマンドでMySQLやRedshiftに入れるのが良さそう。