Under the Hood of Wantedly’s Recommender System - 推薦システムの評価の裏側 こんにちは! Wantedly Visitで開発チームのリーダをしている久保長です。 去年の4月からRecommendationチームを発足し、推薦や検索の改善を行なってきました。その中で、推薦システムの評価を整備してきたので、そのお話をします。 現在、Wantedlyでは機械学習を使った推薦を色々な場面で利用していますが、評価を整備したことで、性能は大きく改善し、開発スピードも向上させることができました。 推薦システムの評価は、オフラインのテストとオンラインのテストがあります。また、オフラインのテストでは定量的な評価と定性的な評価があります。 これらを組み合わせることで、オンラインで使うアルゴリズムや特徴量の選択の質が上がり、効果的なアルゴリズムをオンラインでテス