正規表現で1つの文章から重複する単語を削除する方法 - Qiita

はじめに 当記事は下記の環境にて動作を確認しています。 Python 3.6.2 本記事でやりたいこと 1つの文章中複数回出てくる単語を検出し、消したい！ 例: 'サンプル：これは例文です。例えば、「これは例文です。」という表現が二回出てきているとします。' ↓ 'サンプル：これは例文です。例えば、「」という表現が二回出てきているとします。' 結論 下記のように正規表現を用いて置換する。({3,100}は適宜検出したい単語の長さによって変えること) (.{3,100})(.*?)\1 ↓ \1\2 2017/09/29 追記 上記の置換は単語一つ分を置換する処理なので、 置換できなくなるまでループなどで繰り返し実行すること。 scivolaさんから頂いた別解 (.{3,100})(?=.*\1) ↓ '' こちらは上記の置換と違い、ループ処理の必要がない。 ただし、"最後に残る単語"は"最