エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
米Microsoft、深層学習向けの最適化技術「DeepSpeed」を公開 | OSDN Magazine
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
米Microsoft、深層学習向けの最適化技術「DeepSpeed」を公開 | OSDN Magazine
Microsoft Researchは2月10日、深層学習(ディープラーニング)向けの最適化技術「DeepSpeed」を公開し... Microsoft Researchは2月10日、深層学習(ディープラーニング)向けの最適化技術「DeepSpeed」を公開した。分散型のモデル学習が簡単かつ効果的になり、1000億件のパラメーターモデルにも対応できるようになるという。 深層学習で課題となる自然言語モデルのトレーニングの効率化を図る目的で開発されたもので、PyTorchとの互換性がある。新たに開発した並列化オプティマイザZeRO(Zero Redundancy Optimizer)を含み、モデルとデータの並列化に必要なリソースを削減できるという。 ZeROは大規模な分散型深層学習向けのメモリ最適化技術で、現世代のGPUクラスタ上で1000億のパラメーターを持つ深層学習モデルを、現在最高レベルのシステムと比べて3~5倍のスループットでモデルの学習を実行できるという。なお、コードへの変更は最小限に抑えることができるとしている。