サクサク読めて、アプリ限定の機能も多数!
"ReFT; Representation Finetuning: LoRAがモデルの重みを部分的に更新するのに対し、ReFTはモデルの中間層の出力に介入 + LoRAと比べて非常に少ないパラメータの変更でモデルの挙動を制御"
sh19910711 のブックマーク 2024/05/19 15:47
高効率のLLM学習手法ReFTを試してみる | 株式会社AI Shift[*program][prompt][--][rep]"ReFT; Representation Finetuning: LoRAがモデルの重みを部分的に更新するのに対し、ReFTはモデルの中間層の出力に介入 + LoRAと比べて非常に少ないパラメータの変更でモデルの挙動を制御"2024/05/19 15:47
"ReFT; Representation Finetuning: LoRAがモデルの重みを部分的に更新するのに対し、ReFTはモデルの中間層の出力に介入 + LoRAと比べて非常に少ないパラメータの変更でモデルの挙動を制御"
このブックマークにはスターがありません。 最初のスターをつけてみよう!
www.ai-shift.co.jp2024/05/17
こんにちは AIチームの戸田です 今回は先月スタンフォード大学が発表した新しいParameter-efficient fine-tuning(PEFT)のReFTを試してみたいと思います。 PEFT PEFTはLLMのような大規模な事前学習済みのニュー...
26 人がブックマーク・0 件のコメント
\ コメントが サクサク読める アプリです /
"ReFT; Representation Finetuning: LoRAがモデルの重みを部分的に更新するのに対し、ReFTはモデルの中間層の出力に介入 + LoRAと比べて非常に少ないパラメータの変更でモデルの挙動を制御"
sh19910711 のブックマーク 2024/05/19 15:47
このブックマークにはスターがありません。
最初のスターをつけてみよう!
高効率のLLM学習手法ReFTを試してみる | 株式会社AI Shift
www.ai-shift.co.jp2024/05/17
こんにちは AIチームの戸田です 今回は先月スタンフォード大学が発表した新しいParameter-efficient fine-tuning(PEFT)のReFTを試してみたいと思います。 PEFT PEFTはLLMのような大規模な事前学習済みのニュー...
26 人がブックマーク・0 件のコメント
\ コメントが サクサク読める アプリです /