概要 深層学習の論文を読んで再現実験を行うときに、あっさりうまくいくこともあるが、全然再現できないことのも多い。ベースラインからほとんど変わらないとか、そもそもこの論文、ベースライン手法のチューニングしてないじゃんとか、いろいろ問題が出てくる。 機械学習分野の論文は再現性が低い、という問題を少しでも解決するために、NeurIPSが論文投稿者に求めているチェックリストを読んでみた。 Andrew Ng先生のdeeplearning.aiがやっているニュースレターであるThe Batchで、紹介されていた。 意訳 アルゴリズムについて 提示しているアルゴリズムについて、以下の事項を満たしていること。 数学的な設定、アルゴリズム、およびモデルの明確な説明をする。 任意のアルゴリズムに対する複雑さ(時間、空間、サンプルサイズ)の分析をする。 外部ライブラリを含む、すべての依存関係を特定している、ダ
![機械学習の再現性のためのチェックリスト - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/d161d8954ea6d20fa32585724b16e122706ae72c/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUU2JUE5JTlGJUU2JUEyJUIwJUU1JUFEJUE2JUU3JUJGJTkyJUUzJTgxJUFFJUU1JTg2JThEJUU3JThGJUJFJUU2JTgwJUE3JUUzJTgxJUFFJUUzJTgxJTlGJUUzJTgyJTgxJUUzJTgxJUFFJUUzJTgzJTgxJUUzJTgyJUE3JUUzJTgzJTgzJUUzJTgyJUFGJUUzJTgzJUFBJUUzJTgyJUI5JUUzJTgzJTg4JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz01OTQ4NGU4MmZlMmE0ZWMzZDhjY2Y3YzZiNTVjMTFkNQ%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB0YWtvcm95JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz01NWE4ZjdhZDcyNWY1ZDY1NDlmNDNlOTk2YTQwZTBlMA%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D0a513b439e728315ad8acab293286e2c)