現代版 TF-IDF である Okapi BM25 の原理について(前半)

Okapi BM25 はオープンソースの検索エンジンとして有名な Elasticsearch やそのエンジンである Apache Lucene で採用されている検索のランキングアルゴリズムです。 ランキング手法としては TF-IDF が有名ですが、BM25 は TF-IDF を改良した物と言えます。また一方で、BM25 は確率論をベースとしたモデルを採用した手法でもあります。多くの検索エンジンでデフォルトのランキングアルゴリズムとして採用されており、BM25 は「現代版 TF-IDF」と言えると思います。 BM25 は以下を主要なアイデアとして採用した手法になります。この記事では二回にわたってこれらを解説していきます。 条件付き確率を基礎としたスコアリング ロバートソン/スパルクジョーンズ重み付け関数 (IDF に相当) Binary Independence Model (BIM) El

[sh19910711]

2022 / "「情報検索:検索エンジンの実装と評価」(通称ブッチャー本)8章 / スコアを求めたいドキュメントから特性dを抽出し、それと同じ特性をもつドキュメントがユーザーの検索要求を満たしている(条件付き)確率を求める"