対決！RTX 2080Ti SLI vs Google Colab TPU ～PyTorch編～ - Qiita

RTX 2080Tiを2枚使って頑張ってGPUの訓練を高速化する記事の続きです。TensorFlowでは複数GPU時に訓練が高速化しないという現象がありましたが、PyTorchを使うとRTX 2080Tiでもちゃんと高速化できることを確認できました。これにより、2GPU時はTensorFlowよりも大幅に高速化できることがわかりました。 前回までの記事 対決！RTX 2080Ti SLI vs Google Colab TPU ～Keras編～ TensorFlow/Kerasでchannels_firstにするとGPUの訓練が少し速くなる話 ハードウェアスペック GPU : RTX 2080Ti 11GB Manli製×2 SLI構成 CPU : Core i9-9900K メモリ : DDR4-2666 64GB CUDA : 10.0 cuDNN : 7.5.1 PyTorch :

[stealthinu]

PyTorch/TensorFlowとGPU/GPUx2/TPUでの比較。PyTorchだとGPUx2で速くなってるがそんなに圧倒的ではない感。結局TPU最つよという印象を受けた。

[mattn]

「TensorFlowのケースではモデルが大きかろうが小さかろうが、確保できるだけめいいっぱいメモリ確保している」