Python でテキストデータの会話文を1行に成型する - Qiita

テキストデータを自然言語処理する際に、会話文を抽出したかったが、テキストデータにおいて、1行に'「」'の対が複数あったり、逆に'「」'の対が複数行にまたがって存在していたりしており、成型がめんどうであった。 「」の対が1要素に収まっているリストを返す関数をメモ代わりに記載する。 # テキストファイルのパス path = 'hogehoge.txt' # 「」の対が1要素に収まっているリストを返す関数 def preprocessing(path): text = [] with open(path, mode='r', encoding='utf-8') as f: for line in f.readlines(): # text の list の要素に'「', '」'がそれぞれ1つ以下になるよう加工する line = line.replace('「','\n「') line = lin