こんにちは。レトリバの飯田(@meshidenn)です。カスタマーサクセス部 研究チームのリーダーをしており、マネジメントや論文調査、受託のPOCを行なっています。 皆さんは、検索エンジンの評価をどのように行なっていますか?検索エンジンの評価は、実はユーザが求めていることによって変わってきます。今回は、ユーザが求めていること=ユーザモデルと検索評価指標の関係について、書いていきます。なお、以下の内容は酒井先生の書籍に記載されておりますので、詳細が気になる方は、こちらも読んでみてください。 集合検索指標 1クエリに対する評価 複数クエリに対する評価 ランク付き検索指標 平均精度と逆数順位のユーザモデル 終わりに 集合検索指標 1クエリに対する評価 最も基本的な指標は、集合検索指標です。これは機械学習でよく用いられる、 再現率・適合率・スコアを使用します。以下、それぞれ式にします。まず、ある検