はじめに PyTorchのCPU側の並列処理は、ATen/Parallelで主に行う。CPUの並列処理の概要も文書に記載されている。現状の並列処理設定を確認するには、以下のスクリプトで確認できる。(PyTorch 1.2から以下のスクリプトで確認できる。) ATen/Parallel: at::get_num_threads() : 1 at::get_num_interop_threads() : 1 OpenMP 201511 (a.k.a. OpenMP 4.5) omp_get_max_threads() : 1 Intel(R) Math Kernel Library Version 2019.0.4 Product Build 20190411 for Intel(R) 64 architecture applications mkl_get_max_threads() : 1
![(ソースコードメモ)PyTorchでのCPU側並列処理 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/98be9e8b9c8260ae138cec16096aee20126025e3/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTI4JUUzJTgyJUJEJUUzJTgzJUJDJUUzJTgyJUI5JUUzJTgyJUIzJUUzJTgzJUJDJUUzJTgzJTg5JUUzJTgzJUExJUUzJTgzJUEyJTI5UHlUb3JjaCVFMyU4MSVBNyVFMyU4MSVBRUNQVSVFNSU4MSVCNCVFNCVCOCVBNiVFNSU4OCU5NyVFNSU4NyVBNiVFNyU5MCU4NiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9MjgxNDIwMzNmNjdhOGYyNGRlNzdlYjA1MmExNTk1MjU%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBzYWthaWEmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWE5MzM0N2Y2ODgyYmE2Y2VhMWIzNTk3YmI2MjRjNTYy%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D8b5c17e4b82873b4cfbbca114a9e7caf)