bfloat16 を使用してモデルのパフォーマンスを向上させる | Cloud TPU | Google Cloud
フィードバックを送信 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 bfloat16 を使用してモデルのパフォーマンスを向上させる デフォルトでは、TPU は bfloat16 値で行列乗算演算を実行し、IEEE float32 値で累積を実行します。精度を落とした浮動小数点数を使用すると、精度を失わずに収束までの時間を短縮できます。 bfloat16 と float32 のダイナミック レンジは同等です。ただし、bfloat16 はメモリ容量の半分を使用します。bfloat16 のパフォーマンスの詳細については、ディープ ラーニング トレーニングのための BFLOAT16 の研究をご覧ください。 bfloat16 を明示的に使用する TPU での自動形式変換により、数値の精度について考慮する必要がなくなりますが、値を明示的に bfloat16 にキャス
BFloat16の適用と実装状況 - Qiita
ソフトの実装状況 ツールは、未成熟であり2020年1月現在サポートされつつあるといった感じである。以下にサポートされているソフトを示す。 参考文献 一般 使えている例 A Study of BFLOAT16 for Deep Learning Training(2019/05) Leveraging the bfloat16 Artificial Intelligence Datatype For Higher-Precision Computations(2019/04) (ACM SC19)High Performance Monte Carlo Simulation of Ising Model on TPU Clusters(2019/03) 実際のコード ソフト側対応 一般 float32 -> bfloat16 変換では NaN と丸めを考慮すると完璧 深層学習フレームワーク
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
