深層学習の数理と学習ダイナミクスに関する論文がAISTATS2021に採択されました - fltech - 富士通研究所の技術ブログ

AISTATS2021に採択された論文"The Spectrum of Fisher Information of Deep Networks Achieving Dynamical Isometry"について紹介します. AISTの唐木田亮さんとの共著です. この記事の筆者：人工知能研究所 自律学習PJ 早瀬友裕（博士 数理科学） コントロール可能な深層学習を目指して 深層回路（DNN）は画像認識のコンテスト(ILSVRC2012)で圧倒的な性能を示してから, 機械学習の有力な手法として注目されてきました. それからしばらく, DNNの層数はどんどん増えていきました (Fig. 1). 深くすればするほど性能が良くなるのでしょうか？そもそも深層回路はどんなに深くても（＝層数が多くても）学習できるのでしょうか？実験的な検証は行われていますが, これらの問の全容はまだ明らかになっていません.

[zou3dazou]

学習可能性。勾配消失/発散がどういう条件なら理論的に起こらないか。