「深層学習はその原理的な背景はよくわからない」,「深層学習は計算機の力でぶん殴ってる」,「深層学習は数理的な側面があまり整備されていない」…こういう話をみなさま一度は耳にした事があるのではないでしょうか? こういう課題感に対して,ここ数年で深層学習の理論的な研究への注目度が上がっている気がします.今回は,深層学習を支える(かもしれない)ここ数年で特に注目を浴びた理論について紹介します. はじめに Advent Calendarな皆様,こんにちはこんばんはおはようございます.クロステック開発部に所属している田中と申します.昨年度は先進技術研究所でAdvent Calendarをひっそりと書いていましたが,先進技術研究所とサービスイノベーション部と5Gイノベーション推進室を跨いだ組織再編があり,クロステック開発部に異動となりまして,今年はR&Dの3部署(クロステック開発部・サービスイノベーショ
![深層学習の理論を眺める:Neural Tangent Kernelと平均場理論 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/263163e07a195ae460f06927e05646574f0a9624/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUU2JUI3JUIxJUU1JUIxJUE0JUU1JUFEJUE2JUU3JUJGJTkyJUUzJTgxJUFFJUU3JTkwJTg2JUU4JUFCJTk2JUUzJTgyJTkyJUU3JTlDJUJBJUUzJTgyJTgxJUUzJTgyJThCJUVGJUJDJTlBTmV1cmFsJTIwVGFuZ2VudCUyMEtlcm5lbCVFMyU4MSVBOCVFNSVCOSVCMyVFNSU5RCU4NyVFNSVBMCVCNCVFNyU5MCU4NiVFOCVBQiU5NiZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9Mjg3YWExMmZlZTBhZWE3MDk0NzliMzM0NTI2M2E2YjE%26mark-x%3D142%26mark-y%3D100%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDBkY21faGlyb2FraS10YW5ha2EmdHh0LWNvbG9yPSUyMzNBM0MzQyZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTkyMjRkM2QwN2RmNGY3MjQ5M2E0ZGEzYjQ2YmMxM2I3%26blend-x%3D142%26blend-y%3D455%26blend-mode%3Dnormal%26txt64%3DaW4gTlRU44OJ44Kz44OiIFImRA%26txt-width%3D972%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%25233A3C3C%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D550%26s%3Ddc4db070526f272b71363ee1b69f264a)