RTX 2080Tiを2枚使って頑張ってGPUの訓練を高速化する記事の続きです。TensorFlowでは複数GPU時に訓練が高速化しないという現象がありましたが、PyTorchを使うとRTX 2080Tiでもちゃんと高速化できることを確認できました。これにより、2GPU時はTensorFlowよりも大幅に高速化できることがわかりました。 前回までの記事 対決!RTX 2080Ti SLI vs Google Colab TPU ~Keras編~ TensorFlow/Kerasでchannels_firstにするとGPUの訓練が少し速くなる話 ハードウェアスペック GPU : RTX 2080Ti 11GB Manli製×2 SLI構成 CPU : Core i9-9900K メモリ : DDR4-2666 64GB CUDA : 10.0 cuDNN : 7.5.1 PyTorch :
![対決!RTX 2080Ti SLI vs Google Colab TPU ~PyTorch編~ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/c3170e2e2b9d5e06da4219a0be0ede80b5d266f5/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUU1JUFGJUJFJUU2JUIxJUJBJUVGJUJDJTgxUlRYJTIwMjA4MFRpJTIwU0xJJTIwdnMlMjBHb29nbGUlMjBDb2xhYiUyMFRQVSUyMCVFRiVCRCU5RVB5VG9yY2glRTclQjclQTglRUYlQkQlOUUmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTUyMTFlZDk0YmY1N2I5NWU4Yjc1OTNjM2FlNmIwOGNj%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBrb3NoaWFuMiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MDY5YTFmNmVlMjkxZjI2OGZhMDBmZWFlNGRkYzNlZmQ%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Dd7af2fe7fc2a030b957e84c5706846e3)