BERTScoreで文章の類似性を測定してみた - Re:ゼロから始めるML生活

最近こんな記事を見かけました。 ai-scholar.tech 機械翻訳や機械要約のタスクでは、自然文を生成することになりますが、その際に生成された文がどれほど良いかについて評価する必要が出てきます。 ICLRで発表されたBERTScoreはこれを従来の評価指標より正しく評価できるとのことでした。 ということで、今回はそのBERTScoreを使ってみたので、そのメモです。 元論文 生成タスクにおける評価指標 BERTScore 使ってみる 使ったコード 感想 元論文 元論文はこちら。 arxiv.org 生成タスクにおける評価指標 ai-lab.lapras.com こちらの記事によれば、従来の文書生成に関する指標として BLEU ROUGE-N NIST METEOR TER などが挙げられています。 その他、論文中では、Embeddingベースの指標や機械学習ベースの指標などが挙げられ