TPRが0.666に達した時点では,ROC曲線では(0.250,0.666)という座標に位置し,そこまででは全体の面積のうちせいぜい1/4しか担当していません. したがって,(0.250,0.666)に至る手前でどれだけ下手な予測をしても,AUCへの影響は小さいもので済みます. 一方PR曲線では(0.666,0.666)という座標に位置し,その座標まででなんと全体のAUCの2/3を担当しています. ですので,(0.666,0.666)に至る手前で下手をこいてしまうと,ROC曲線に比べて8/3倍もの影響力があります. 実際,1位と2位を入れ替えたときのROC曲線とPR曲線のAUCは次のとおりです. ※ROC-AUCは0.750(10%劣化). ※PR-AUCは0.514(33%劣化). 実験的検証 論より証拠,実験で示してみました. 実験手順は以下のとおりです. 使用したプログラムはPyth