エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
NLTK BLEUのSmoothing Functionはどれくらいスムージングしているのか - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
NLTK BLEUのSmoothing Functionはどれくらいスムージングしているのか - Qiita
BLEU は、正解テキスト(参照文、reference)と生成された文章(生成文、hypothesis)が、どれくらい一... BLEU は、正解テキスト(参照文、reference)と生成された文章(生成文、hypothesis)が、どれくらい一致しているかを示す値です。本来は機械翻訳の自動評価手法だと思いますが、文章生成系の様々なタスクで応用されています。 $$ \text{BLEU}=\text{BP}(\prod_{i=1}^{N}precision_i)^{1/N} $$ $precision_i$ にあたる部分は、$i$-Gramでの文章の一致割合になります。 たとえば「This is a pen」と「This is an apple」は、1gramで2/4一致、2gramで1/3一致なので、$precision_1=\frac{2}{4}$, $precision_2=\frac{1}{3}$です。 Nはよく4が用いられるようですので、1gramから4gramまでの$precision_i$を計算して