はじめに TDU_データ科学・機械学習研究室Advent Calendar 5日目 記事書ききれてないです.すみません,もう少し解説加えたものを近日中にアップします!! 普段僕はComputer Visionの研究をしています. 研究ではCNNを用いて伝統文様の解析をしています.昨今の深層学習ではGPUを利用することがほぼマストで.かくいう僕も研究では研究室のGPUマシンを利用しています.リモート(大学のGPU)マシンでの画像関係の実験は難しいです.具体的に言うと,画像は大量にあるので生データを逐一見るのは難しい. そこで,僕は普段GPUマシン上に利用している実験環境について語ります. パラメータ管理: hydra ログ(Accuracy, loss, GPUモニタリング)管理: wandb 画像の管理 sshfs streamlit(オリジナルアプリ) データ管理 csv管理 dvc(D
![【Hydra+wandb+etc..】研究室で利用している機械学習実験環境について(追記予定です.) - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/a92926df6c30a0f1800d5a6d91d06ebcf992bd57/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9JUUzJTgwJTkwSHlkcmElMkJ3YW5kYiUyQmV0Yy4uJUUzJTgwJTkxJUU3JUEwJTk0JUU3JUE5JUI2JUU1JUFFJUE0JUUzJTgxJUE3JUU1JTg4JUE5JUU3JTk0JUE4JUUzJTgxJTk3JUUzJTgxJUE2JUUzJTgxJTg0JUUzJTgyJThCJUU2JUE5JTlGJUU2JUEyJUIwJUU1JUFEJUE2JUU3JUJGJTkyJUU1JUFFJTlGJUU5JUE4JTkzJUU3JTkyJUIwJUU1JUEyJTgzJUUzJTgxJUFCJUUzJTgxJUE0JUUzJTgxJTg0JUUzJTgxJUE2JTI4JUU4JUJGJUJEJUU4JUE4JTk4JUU0JUJBJTg4JUU1JUFFJTlBJUUzJTgxJUE3JUUzJTgxJTk5JUVGJUJDJThFJTI5JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1kMzRmMDhiOTA4NTAyNWU5NmIwYzRjOGIxY2FkOTgwNw%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwWUtJWU9MTyZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NTdiNTdjYmQwY2JhODMxYzEwODRhOTAwOWQ4NTEwYWE%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D60adca9d436b6ae7546c8d28edc504d1)