Tutel：大規模な適応型の専門家の混合
近年、Mixture-of-Experts（MoE）は、スパース計算によって計算コストを削減しながら、モデル容量を数兆以上のパラメーターに拡張できるディープラーニングの有望な手法として登場しました。 MoEは非常に大きなモデルの新しいフロンティアを開きますが、MoEの動的な性質とシステムの静的な並列処理/パイプライン化の不一致により、数千のGPUでの実装は制限されています。動的に適応する並列処理とパイプライン化を備えたMoEの拡張性の高いスタック設計と実装であるTutelを紹介します。 Tutelは、実行時に適応型並列処理スイッチングと適応型パイプラインを提供し、それぞれ最大1.74倍と2.00倍の単一MoEレイヤーの高速化を実現します。また、MoE通信の高速化のための新しい2次元階層アルゴリズムを提案します。これは、2,048GPUで最大20.7倍の以前の最先端技術を上回ります。すべての
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://arxiv-check-250201.firebaseapp.com/each/2402.16249v1
Simpler is better: トラフィック予測のためのグラフ畳み込みリカレント ニューラル ネットワーク セルによるマルチレベル抽象化
人間の動きをモデル化するための柔軟なアプローチである潜在的なプリミティブのシーケンスとしての動きの表現
SpecTr：ハイパースペクトル病理画像セグメンテーション用のスペクトルトランスフォーマー