Jaccard係数に基づく類似文書検索の高速化技法 - LegalOn Technologies Engineering Blog

こんにちは、LegalOn Technologiesでエンジニアをしている神田（@kampersanda）です。 本記事では、Jaccard係数に基づく類似文書検索の高速化技法を解説し、契約書検索での実験結果を報告します。 背景と目的 共起に基づく類似文書検索の必要性 契約書検索での注意点 本記事の目的 準備 表記 Jaccard係数 Overlap係数との関係 問題設定 線形探索による解法 高速化の方針 Length Filtering Position Filtering 高速化のための要素順序 アルゴリズム 転置索引を使った解法 基本的なアイデア Prefix Filteringに基づくトークンの絞り込み 高速化のための要素順序 アルゴリズム 実験 データセット 統計量 Length Filterの検出率に関する結果 検索時間に関する結果 おわりに メンバー募集中!! 背景と目的 共

[yarumato]

“単純に本文が文字列として似ている契約書を検索したい場合、本文中に出現するトークン（単語N-gram）がどれくらい一致するかという、単純な指標が十分に機能。これは共起に基づく類似文書検索。”