エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
PyTorch/XLA: Cloud TPU VM でのパフォーマンスのデバッグ(パート 3) | Google Cloud 公式ブログ
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
PyTorch/XLA: Cloud TPU VM でのパフォーマンスのデバッグ(パート 3) | Google Cloud 公式ブログ
※この投稿は米国時間 2022 年 1 月 22 日に、Google Cloud blog に投稿されたものの抄訳です。 この記事... ※この投稿は米国時間 2022 年 1 月 22 日に、Google Cloud blog に投稿されたものの抄訳です。 この記事は、Google Cloud TPU VM での PyTorch/XLA のパフォーマンス デバッグ エコシステムに関する説明の 3 回にわたるシリーズの最後のパートです。パート 1 では、まず PyTorch/XLA プロファイラを使用したトレーニング パフォーマンスについて判断するための重要な概念について説明し、最後に PyTorch 1.8 でのMulti-Head-Attention(MHA)の実装で遭遇した興味深いパフォーマンスのボトルネックについて解説しました。パート 2 では、最初に PyTorch 1.9 で導入され、パフォーマンスのボトルネックの解決に用いられた別の MHA の実装について説明し、プロファイラを使用した評価で示した動的グラフのサ