ランク学習と検索結果の精度評価指標 - 人間だったら考えて

この記事はランク学習（Learning to Rank） Advent Calendar 2018 - Adventarの4本目の記事です。 この記事は何？ 前回の記事で、LightGBMを用いたランク学習によるランキングモデルを作りました。 www.szdrblog.info 機械学習モデルを作ったら、次にやるべきことはそのモデルの予測精度を確認することです。 *1 この記事では、ランク学習の予測精度を測る指標として、Mean Reciprocal Rank (MRR)・Mean Average Precision (MAP)・Normalized DCG (NDCG) を紹介します。*2 …といっても、この辺りの予測精度の話は非常に有名なので、解説記事はたくさん出てきます。なのでこの記事では、これらの予測精度にまつわる問題点もちょっとだけ紹介しようと思います。 ラベルが0 or 1の2