レコメンド指標の整理: Recall@k・MRR・MAP・nDCG各クエリに対しそれぞれ上位 k 個の予測を出すようなシステムを評価する指標をまとめます。 Recall@k 各クエリに対して、上位 k 個の予測に含まれる正解数が、総正解数のうちどの程度の割合含まれているかを計算します。そして最後にクエリ全体で平均を取ります。 MRR (Mean Reciprocal Rank) 各クエリ i の予測を上から見たときに最初に正解が出てきた時の順位を rank_i とします。それに対して、以下のような式を計算します。 MRR = \dfrac{1}{|Q|} \sum_{i=1}^{|Q|} \dfrac{1}{rank_i} なお、予測に正解が一つも含まれない場合は \dfrac{1}{rank_i} = 0 とします。 MAP (Mean Average Precision) まず、Average Precision について説明します。これは y_j
Cheat Sheet: Evaluation Metrics
