Tutel：大規模な適応型の専門家の混合

近年、Mixture-of-Experts（MoE）は、スパース計算によって計算コストを削減しながら、モデル容量を数兆以上のパラメーターに拡張できるディープラーニングの有望な手法として登場しました。 MoEは非常に大きなモデルの新しいフロンティアを開きますが、MoEの動的な性質とシステムの静的な並列処理/パイプライン化の不一致により、数千のGPUでの実装は制限されています。動的に適応する並列処理とパイプライン化を備えたMoEの拡張性の高いスタック設計と実装であるTutelを紹介します。 Tutelは、実行時に適応型並列処理スイッチングと適応型パイプラインを提供し、それぞれ最大1.74倍と2.00倍の単一MoEレイヤーの高速化を実現します。また、MoE通信の高速化のための新しい2次元階層アルゴリズムを提案します。これは、2,048GPUで最大20.7倍の以前の最先端技術を上回ります。すべての

[arxiv_reader]

近年、Mixture-of-Experts（MoE）は、スパース計算によって計算コストを削減しながら、モデル容量を数兆以上のパラメーターに拡張できるディープラーニングの有望な手法として登場しました。