Kerasの検索結果1 - 2 件 / 2件

• あとで読む

  Keras 3.0とJAXを使ったgemmaのファインチューニング - Sun wood AI labs.2

  • 2 users
  • hamaruki.com
  • テクノロジー
  • 2024/10/12

  JAXとは JAXは、NumPyの構文を使って機械学習モデルを記述でき、自動微分、JIT コンパイル、モデル並列化などの機能を提供するフレームワークです。GPUやTPUを利用した高速な計算が可能で、特に大規模モデルの学習に適しています。 Keras 3.0のメリット Keras 3.0を使うことで、以下のようなメリットが得られます。 最高のパフォーマンスを常に得られる: バックエンドを動的に選択することで、モデルに応じて最適なパフォーマンスを発揮できます。 エコシステムの選択肢が広がる: Keras 3モデルは、PyTorch、TensorFlow、JAXのエコシステムパッケージと組み合わせて使用できます。 JAXによる大規模なモデル並列化とデータ並列化: keras.distributionを使って、モデル並列化とデータ並列化を簡単に実現できます。 オープンソースモデルのリリースの影響力
• あとで読む

  SAM(Sharpness-Aware Minimization)をKerasで実装して評価してみた - Qiita

  • 1 user
  • qiita.com/T-STAR
  • テクノロジー
  • 2024/11/04

  #はじめに 2020年に発表された最適化手法であるSAMに注目している人はそれなりに多いはずだが、まだQiitaには使用レポート的な記事はないようなので、評価を行い記事にする。評価には自作のtf.keras移植版を使うので、そちらのコードも掲載し、簡単な説明も加える。 #SAMとはなにか 発表論文はこちら。 Sharpness-Aware Minimization for Efficiently Improving Generalization 下記記事に詳しい解説あり。 SoTAを総なめ！衝撃のオプティマイザー「SAM」爆誕&解説！ 簡単に手順を解説すると以下の通り。 勾配を計算 勾配のノルムを計算(全レイヤーまとめてスカラー値にする) 勾配の逆方向に重みをずらす(ずらす量は2で計算したスカラー値に反比例させる) ずらした重みで勾配を再計算 ずらした重みを元に戻す ４で計算した勾配を使っ