サクサク読めて、アプリ限定の機能も多数!
"μTransfer: 学習したい大規模モデル(ターゲットモデル)と同じアーキテクチャの次元や層数のより小さいモデルを用意 + μP と呼ばれる方法でパラメータ付け / 学習率を任意に大きなモデルにそのまま使い回せる"
sh19910711 のブックマーク 2024/05/23 07:08
μTransfer: 小規模モデルでのハイパラ探索を大規模モデルに転移し学習を効率化する|Tatsuya Shirakawa[*algorithm][機械学習][parameter]"μTransfer: 学習したい大規模モデル(ターゲットモデル)と同じアーキテクチャの次元や層数のより小さいモデルを用意 + μP と呼ばれる方法でパラメータ付け / 学習率を任意に大きなモデルにそのまま使い回せる"2024/05/23 07:08
"μTransfer: 学習したい大規模モデル(ターゲットモデル)と同じアーキテクチャの次元や層数のより小さいモデルを用意 + μP と呼ばれる方法でパラメータ付け / 学習率を任意に大きなモデルにそのまま使い回せる"
このブックマークにはスターがありません。 最初のスターをつけてみよう!
note.com/tatsuyashirakawa2024/02/26
最近、友人から大規模モデルの学習を劇的に効率化しそうな下記の事実(μTransfer)を教えてもらい、こんなことが成り立つことに非常に驚くとともに、それを知らなかったことにちょっとしたショックを受けました。...
13 人がブックマーク・2 件のコメント
\ コメントが サクサク読める アプリです /
"μTransfer: 学習したい大規模モデル(ターゲットモデル)と同じアーキテクチャの次元や層数のより小さいモデルを用意 + μP と呼ばれる方法でパラメータ付け / 学習率を任意に大きなモデルにそのまま使い回せる"
sh19910711 のブックマーク 2024/05/23 07:08
このブックマークにはスターがありません。
最初のスターをつけてみよう!
μTransfer: 小規模モデルでのハイパラ探索を大規模モデルに転移し学習を効率化する|Tatsuya Shirakawa
note.com/tatsuyashirakawa2024/02/26
最近、友人から大規模モデルの学習を劇的に効率化しそうな下記の事実(μTransfer)を教えてもらい、こんなことが成り立つことに非常に驚くとともに、それを知らなかったことにちょっとしたショックを受けました。...
13 人がブックマーク・2 件のコメント
\ コメントが サクサク読める アプリです /