絶対に分かる機械学習理論 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ

私が機械学習を学び始めたとき、訓練データとテストデータは異なるのだから、訓練データ上で損失を下げたとしても、テストデータでの性能が必ずしも保証されるとは限らないのではないかと感じ、理解に苦労しました。 本稿では、かつての自分を含め、統計と機械学習の初心者に向けて、なぜテストデータでも性能が理論的に保証されるのかを丁寧に解説します。 本稿の最後では、この議論を深層学習の理論に応用し、最先端の研究にまで一気に繋げます。期待値や分散などの統計学の基礎知識だけからここまで発展的な内容にまでたどり着くというのが本稿の目的です。ぜひ最後までお付き合いください。 目次 目次 期待値への集中 マルコフの不等式 チェビシェフの不等式 ヘフディングの不等式 モデルの評価 訓練の場合には同じ議論は成り立たない ユニオンバウンド 候補の数が有限の場合 候補の数が無限の場合 深層学習の理論へ 著者情報 期待値への集

[i-yan193]

絶対に分かるための基礎知識高くないですか

[kenzy_n]

機械学習理論は統計理論とは切っても切り離せない関係にある。

[havanap]

すばら

[misshiki]

標本平均が期待値に集中することを、マルコフの不等式で極端な値の確率を抑え、チェビシェフの不等式で乖離の確率を評価し、ヘフディングの不等式で指数関数的に収束を保証する流れで証明している。

[dgen]

わかりません！そういうときはとりあえず具体的なデータを代入して結果を見る。

[kazkun]

これを知ったかぶりせずにああそうかと言えるくらいにはなりたい。

[satokunya]

“学習後に辿り着きうる盆地は本質的には定数個しか存在しないという説もあります。” 非常に面白い

[hamamuratakuo]

ChatGPT要約：なぜ訓練データ上での損失削減がテストデータでも保証されるのかを説明。集中不等式やモデルの評価方法を通じて、機械学習の理論的保証を示し、深層学習の最先端研究にもつなげる内容となっている。