タグ

ブックマーク / speakerdeck.com/hpprc (1)

  • [輪講資料] LoRA: Low-Rank Adaptation of
 Large Language Models

    パラメータを固定した事前学習済みモデルに対して、ごく少数のパラメータからなる低ランク行列を導入・学習することで、モデル全体のfine-tuningと同等の性能を発揮できる手法であるLoRAと、その論文について解説した資料です。 深層学習を用いた自然言語処理の歴史的な変遷と周辺技術から、LoRAが必要とされるに至った背景まで丁寧に解説します。

    [輪講資料] LoRA: Low-Rank Adaptation of
 Large Language Models
    gabill
    gabill 2023/04/18
    ChatGPTが飛び抜け過ぎていてこの辺スルーしてた。でも他も実用レベルになってくるとむしろLoRAが適用しやすいOSSのモデルが有利になってくるかも知れないのか。
  • 1