[自然言語処理/NLP] Okapi BM25についてざっくりまとめ (理論編) | DevelopersIO
こんにちは、Mr.Moです。 文書中に含まれる単語の重要度を評価する手法でよく使うものにTF-IDFがありますが、別の手法でOkapi BM25というのもあります。ケースによってはTF-IDFよりも精度が出る場合がありそうですので本記事でOkapi BM25をざっくり理解していこうと思います。 ちなみに、TF-IDFについては下記の記事を参考にしていただければと思います。 tf-idfについてざっくりまとめ_理論編 Okapi BM25とは Okapi BM25は、情報検索における順位付けの手法である。検索エンジンがクエリとの関連性に応じて、文書を順位付けするのに用いられる。1970年代から1980年代にかけて、スティーブン・ロバートソンやカレン・スパーク・ジョーンズらが確率適合モデル（英語版）に基づいて開発した。BM25の "BM" は、 "Best Matching" の略である。 h
![[自然言語処理/NLP] Okapi BM25についてざっくりまとめ (理論編) | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/ba1b82c806a1df532e001a7cf7c0652f65df224e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F09%2Feye-catch-machine-learning-1200-630.png)
Tracking Progress in Natural Language Processing
Tracking Progress in Natural Language Processing Table of contents English Automatic speech recognition CCG Common sense Constituency parsing Coreference resolution Data-to-Text Generation Dependency parsing Dialogue Domain adaptation Entity linking Grammatical error correction Information extraction Intent Detection and Slot Filling Keyphrase Extraction and Generation Language modeling Lexical no
BLEURT:人工知能が生成した文章の品質を評価(1/3)
１．BLEURT:人工知能が生成した文章の品質を評価(1/3)まとめ ・人工知能が生成した文章を評価する手法は「人間による手動評価」と「機械による自動評価」の２つがある ・手動評価は正確だが手間がかかり自動評価は気軽にできるが高度な言い換えに対処できない ・BLEURTは堅牢で、かつてないレベルの品質で、人間の解釈に非常に近い、新しい自動評価を目指した ２．BLEURTとは？ 以下、ai.googleblog.comより「Evaluating Natural Language Generation with BLEURT」の意訳です。元記事の投稿は2020年5月26日、Thibault SellamさんとAnkur P. Parikhさんによる投稿です。 比較対象として出て来るBLEUはフランス語で「青」の意味らしいのですが、BLEURTが何を意識した命名なのかはちょっとわかりませんでした
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
