Pythonで重複してる文を削除するプログラム - Qiita

はじめに 今回大学で課された課題のうちで下準備としての課題で以下のようなものがでました ①インターネットを用いて、英文1000文を集めたデータベースを作る ここで、同じ文が無いことを確認せよ。 さすがに1000文もあると目で見て重複文があるかどうかを判断するのが大変なので最近練習してるpythonで書いてみようということを思った上でのプログラムです # -*- coding: utf-8 -*- import sys str1 ="" try: file_name = sys.argv[1] except IndexError: print('Usage: {0} TEXTFILE'.format(file_name)) sys.exit(1) with open(file_name, 'r') as f: # 集合型にすることで重複が消える（順序は保証されない） # .rstrip()す

[zetamatta]

定番だが、それ「gawk "c[$0]++ < 1" < foo.txt」でいけるね