私が機械学習を学び始めたとき、訓練データとテストデータは異なるのだから、訓練データ上で損失を下げたとしても、テストデータでの性能が必ずしも保証されるとは限らないのではないかと感じ、理解に苦労しました。 本稿では、かつての自分を含め、統計と機械学習の初心者に向けて、なぜテストデータでも性能が理論的に保証されるのかを丁寧に解説します。 本稿の最後では、この議論を深層学習の理論に応用し、最先端の研究にまで一気に繋げます。期待値や分散などの統計学の基礎知識だけからここまで発展的な内容にまでたどり着くというのが本稿の目的です。ぜひ最後までお付き合いください。 目次 目次 期待値への集中 マルコフの不等式 チェビシェフの不等式 ヘフディングの不等式 モデルの評価 訓練の場合には同じ議論は成り立たない ユニオンバウンド 候補の数が有限の場合 候補の数が無限の場合 深層学習の理論へ 著者情報 期待値への集