nltkの検索結果1 - 2 件 / 2件

• あとで読む

  Knowledge Graph & NLP Tutorial-(BERT,spaCy,NLTK)

  • 4 users
  • www.kaggle.com
  • テクノロジー
  • 2021/01/28

  Explore and run machine learning code with Kaggle Notebooks | Using data from multiple data sources

  • tutorial
• あとで読む

  NLTK BLEUのSmoothing Functionはどれくらいスムージングしているのか - Qiita

  • 3 users
  • qiita.com/suzuki_sh
  • テクノロジー
  • 2022/10/15

  BLEU は、正解テキスト（参照文、reference）と生成された文章（生成文、hypothesis）が、どれくらい一致しているかを示す値です。本来は機械翻訳の自動評価手法だと思いますが、文章生成系の様々なタスクで応用されています。 $$ \text{BLEU}=\text{BP}(\prod_{i=1}^{N}precision_i)^{1/N} $$ $precision_i$ にあたる部分は、$i$-Gramでの文章の一致割合になります。 たとえば「This is a pen」と「This is an apple」は、1gramで2/4一致、2gramで1/3一致なので、$precision_1=\frac{2}{4}$, $precision_2=\frac{1}{3}$です。 Nはよく4が用いられるようですので、1gramから4gramまでの$precision_i$を計算して