無償配布の日本語・英語対訳コーパスのデータを綺麗にする - StatsBeginner: 初学者の統計学習ノート

★めぼしいコーパスをまとめてダウンロードしてクリーニングして統合するPythonのコードを最後にのせてます。 ★少しソースを増やして、最終的には後日のエントリに書いてあるようなコーパス構成にしました。 日英対訳の（なるべく）綺麗なデータを得たい Transformerで機械翻訳をやろうと思ったのですが、てっとり早く試すだけの場合、綺麗な演習用データが配布されてる「英語-ドイツ語」や「英語-フランス語」のデータセットを使う人が多いんじゃないでしょうか。 でもそれだと、性能が実感できないので、なんとか「英語 ⇒ 日本語」の機械翻訳を実践したいと思いました。 そこでネックになるのが、 品質がよくて 分量が十分で 無償配布されている という条件をみたす対訳コーパスが、都合よくあるわけではないということです。 下記のページにいろいろまとまってるのですが、少なくとも私が確認した無償のものに関しては、ど