はじめに 日課のarXiv論文のチェックをしていたところ、Microsoftから興味深い論文1が出ていました。 Microsoftから動的にConvの重みを変えるDynamic Convolutionの提案。重み自体を出力するのではなく、複数のConvの線型結合の係数を出力する(Attention)。実はGoogleからもCondConvという同様のアプローチが提案されていて(NIPS'19)熱い! https://t.co/M36wbog1nm https://t.co/lwznevSy2y pic.twitter.com/vNZH6M4CL3 — Yusuke Uchida (@yu4u) December 10, 2019 チラ見してみると、積ん読していたGoogle Brainから出ている論文CondConv2の論文とほぼ同じような主張をしていたので、CondConvのほうを改めて
![次世代の畳み込み?!CondConv - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/7e55c4a49335291db2fcc04bfb0ee922964c991e/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUU2JUFDJUExJUU0JUI4JTk2JUU0JUJCJUEzJUUzJTgxJUFFJUU3JTk1JUIzJUUzJTgxJUJGJUU4JUJFJUJDJUUzJTgxJUJGJUVGJUJDJTlGJUVGJUJDJTgxQ29uZENvbnYmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzNBM0MzQyZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPWE0YjExMWU5OThkNTg5NmM5ZTU0ZGFlZTY2ZDM4NjJh%26mark-x%3D120%26mark-y%3D96%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDB5dTR1JnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1hZDVhMzdjY2RjOGFmOTZjOWZhYjFkZGI0NDFmNzQ5Mw%26blend-x%3D120%26blend-y%3D500%26blend-mode%3Dnormal%26s%3Dce77bc5463e66335dadaa66b5f5e6d1c)