はじめに 従来式のニューラルネットでは, 未学習のニューラルネットに対し, 各辺の重みを徐々に変化させることで学習を行います. これに対し本記事では, 未学習のニューラルネットに対し, 重み更新なしで学習が可能な画期的な一風変わった手法"edge-popup algorithm"[1]を紹介します. 元論文: What's Hidden in a Randomly Weighted Neural Network? 公式実装: https://github.com/allenai/hidden-networks/blob/master/simple_mnist_example.py 本記事ではedge-popup algorithmがどういった着想で編み出されていて, 何を行うアルゴリズムか, どの程度高い性能が出るか, どういった後続研究があるかを順を追って見ていきます. 宝くじ仮説とは
![未学習のニューラルネットに隠された「当たりくじ」 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/4dc2fb80505bc691fd77e99fe448cfac14cdb6c5/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUU2JTlDJUFBJUU1JUFEJUE2JUU3JUJGJTkyJUUzJTgxJUFFJUUzJTgzJThCJUUzJTgzJUE1JUUzJTgzJUJDJUUzJTgzJUE5JUUzJTgzJUFCJUUzJTgzJThEJUUzJTgzJTgzJUUzJTgzJTg4JUUzJTgxJUFCJUU5JTlBJUEwJUUzJTgxJTk1JUUzJTgyJThDJUUzJTgxJTlGJUUzJTgwJThDJUU1JUJEJTkzJUUzJTgxJTlGJUUzJTgyJThBJUUzJTgxJThGJUUzJTgxJTk4JUUzJTgwJThEJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1lNzcwYTJmNzJkNjQzZTFhZThhNjZhNGUyYTAwZTQ1Yg%26mark-x%3D120%26mark-y%3D96%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDB6YXNzb3U2NTUzNSZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9YmM3MmI4N2QwNTM1ZTI3NWFiZTZiOGQxODZmYjA1ZDA%26blend-x%3D120%26blend-y%3D500%26blend-mode%3Dnormal%26s%3D27a21146f90f77a1cc0a5180af510dc4)