巨大テキストファイルをsortコマンドでソートしてみる巨大なテキストファイルをソートする問題について、sortコマンドの挙動を中心にAmazon EC2インスタンス上で検証を行いました。その結果を記事にまとめたものです。 お題の説明 先日のTwitterでこんな話題がありました。論旨としては、非常に大きくメインメモリに収まらないサイズのテキストファイルをソートしたい場合にどうすればよいか、というものです。 解法はさまざまなものがありえると思いますが、この記事ではsortコマンドによるソートを試してみました。 一般論としての解法 stackoverflowなどを軽く眺める限りだと「普通のsortコマンドが最良ではないか」「GNUのsortは入力が大きい場合は外部ソートをしてくれる」などの回答が見つかります。 https://unix.stackexchange.com/questions/120096/how-to-sort-big-files
