pythonで巨大なファイルをソートする - Qiita

subprocess.Popenの挙動の勉強になったので、忘れないようにメモ pythonで巨大なファイルを扱うときは、全てをメモリに載せないよう、イテレータを使っての逐次処理を非常に頻繁に行う。 が、sorted()関数は巨大なファイルに対しては使えない。これはイテレータをリストに変換してから処理を行うため。 巨大なファイルをソートしたいときはUnixシステム側のsortを使う import subprocess def sorted_file_generator(filename): proc = subprocess.Popen(['sort', filename], stdout=subprocess.PIPE) while True: # while を使って1行ずつ受け取る line = proc.stdout.readline() if line: yield line.de

[remix-cafe]

サイズ大きいファイルのソート2

[tmatsuu]

unixのsortコマンドに頼る。まじか。pythonで良い方法ないの

[indication]

素晴らしい