Slurmでpytorch distributed trainingをする - Qiita
Introduction 環境 slurm 18.08 pytorch 1.3 What is Slurm? Slurmは、スパコンやコンピュータクラスタなどで主に科学技術計算用途で用いられるジョブスケジューラの一種。SGE, Torque, LSFなどを使ったことがあれば同様のものと思ってもらっていい。 私は過去、SGEとLSFは使ったことがあるが、簡単にSlurmのいいところをあげると srunが便利（submit用のscriptを作らなくても、インタラクティブにコマンドを実行できる） GPUのリソース管理ができる（GPUを使用するプログラムで排他的にDeviceを確保できる） 複数ノード・複数プロセスでの並列実行のサポートが充実している。 今回の話は３つ目の特徴について。 What is PyTorch? Facebookが開発したDeep learningのフレームワーク。 なぜS
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://slurm.schedmd.com/SLUG19/NVIDIA_Containers.pdf
https://indico.cern.ch/event/757415/contributions/3421576/attachments/1856070/3048604/Solving_Problems_in_HPC_with_Singularity.pdf
Install horovod for PyTorch to work with slurm on ABCI · NLPer
