なぜ教師あり学習でバリデーションセットとテストセットを分ける必要があるのか？ - Qiita

どうも。最近 Coursera で機械学習のコースを受講している @QUANON です。 概要 教師あり学習のデータセットには、 トレーニングセット (training set) バリデーションセット (validation set) 使用しない場合もある。 テストセット (test set) があります。しかし、バリデーションセットとテストセットの違いが未だによく分からない、あるいは、なぜテストセットだけでなくバリデーションセットも必要なのかがピンと来ていないので、調べてみました。 バリデーションセットの役割 トレーニングセットを使って分類器を訓練した後で、その分類器のハイパーパラメータをチューニングするために使用します。様々なハイパーパラメータについて、同じトレーニングセットを使って訓練した後で、さらに同じバリデーションセットを使ってそのパフォーマンスを計測します。そして、最もパフォー