DeepSpeedを用いたHuggingface Transformersの複数ノードでの学習 - Retrieva TECH BLOG

テクノロジーカテゴリーの変更を依頼記事元:

tech.retrieva.jp

1 userがブックマークコメント

禁止事項と各種制限措置についてをご確認の上、良識あるコメントにご協力ください

0 / 0

twitterアカウントが登録されていません。アカウントを紐づけて、ブックマークをtwitterにも投稿しよう！登録する

現在プライベートモードです設定を変更する

記事へのコメント1件

人気コメント
新着コメント

オーナーコメントを固定しています

オーナーdeejayroka "ZeROなどの省メモリ化や16bit浮動小数点を用いた高速化などの機能と組み合わせて用いることも可能なので、Huggingface Transformersのみの時よりも大きなパラメータサイズのモデルの学習を行うことが可能になります"

2023/02/07 リンク

人気コメント算出アルゴリズムの一部にヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

DeepSpeedを用いたHuggingface Transformersの複数ノードでの学習 - Retrieva TECH BLOG

こんにちは。Chief Research Oficerの西鳥羽です。今回はDeepSpeedを用いてHuggingface Transf ormersの... こんにちは。Chief Research Oficerの西鳥羽です。今回はDeepSpeedを用いてHuggingface Transf ormersの複数ノードでの学習をする方法を紹介します。 Huggingface Transf ormersは事前学習済みモデルを簡単に扱うことができるフレームワークです。BERTなどの言語モデルをはじめとして最近はWhisperなどの音声モデル、DETRなどの画像モデルも扱えるようになっています。Huggingface Transf ormersでは数多くの事前学習済みモデルを用意しているため事前学習を行わなくても用いることは可能ですが、多くのモデルで事前学習にも対応しています。 Huggingface Transf ormerでは複数GPUが搭載されている単一のサーバーでの学習に対応していて、そちらは特に設定の変更などは無く学習の実行ができます。複数のGPU