SAM(Sharpness-Aware Minimization)をKerasで実装して評価してみた - Qiita

はじめに 2020年に発表された最適化手法であるSAMに注目している人はそれなりに多いはずだが、まだQiitaには使用レポート的な記事はないようなので、評価を行い記事にする。評価には自作のtf.keras移植版を使うので、そちらのコードも掲載し、簡単な説明も加える。 SAMとはなにか 発表論文はこちら。 Sharpness-Aware Minimization for Efficiently Improving Generalization 下記記事に詳しい解説あり。 SoTAを総なめ！衝撃のオプティマイザー「SAM」爆誕&解説！ 簡単に手順を解説すると以下の通り。 勾配を計算 勾配のノルムを計算(全レイヤーまとめてスカラー値にする) 勾配の逆方向に重みをずらす(ずらす量は2で計算したスカラー値に反比例させる) ずらした重みで勾配を再計算 ずらした重みを元に戻す ４で計算した勾配を使って、