gradient accumulation stepsのバグを理解する

はじめに データソリューション事業部の宮澤です。 昨日Xにてポストされていた以下の記事を理解しようと思い、読んでみました。 概要 GPUメモリ節約のためによく使われる gradient_accumulation_steps の挙動にバグがあったとのこと。unslothおよびtransformersのライブラリでは修正されたと報告されています。 バグについて 事象 unslothの記事を見ると、gradient accumulationを使用すると、フルバッチトレーニングを使用する場合よりも損失が大きくなったことが示されたとのことです。実際に以下の図を見ると、バッチサイズ*勾配累積=16で固定したときに、勾配累積が大きいほうが損失が大きくなっています。 https://unsloth.ai/blog/gradient より引用 原因 原因として、①累積ステップで数値エラーが発生している ②損