DeepSpeedを用いたHuggingface Transformersの複数ノードでの学習 - Retrieva TECH BLOG

こんにちは。Chief Research Oficerの西鳥羽です。今回はDeepSpeedを用いてHuggingface Transformersの複数ノードでの学習をする方法を紹介します。 Huggingface Transformersは事前学習済みモデルを簡単に扱うことができるフレームワークです。BERTなどの言語モデルをはじめとして最近はWhisperなどの音声モデル、DETRなどの画像モデルも扱えるようになっています。Huggingface Transformersでは数多くの事前学習済みモデルを用意しているため事前学習を行わなくても用いることは可能ですが、多くのモデルで事前学習にも対応しています。 Huggingface Transformerでは複数GPUが搭載されている単一のサーバーでの学習に対応していて、そちらは特に設定の変更などは無く学習の実行ができます。複数のGPU

[deejayroka]

"ZeROなどの省メモリ化や16bit浮動小数点を用いた高速化などの機能と組み合わせて用いることも可能なので、Huggingface Transformersのみの時よりも大きなパラメータサイズのモデルの学習を行うことが可能になります"