気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
zenn.dev/bilzardエントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
0
記事へのコメント0件
- 注目コメント
- 新着コメント
新着コメントはまだありません。
このエントリーにコメントしてみましょう。
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
QLoRAを知らずして量子化ファインチューニングを語るなかれ
本記事は4bit量子化重み+LoRAによるファインチューニング手法QLoRAのまとめ記事です。特に4bit量子化フ... 本記事は4bit量子化重み+LoRAによるファインチューニング手法QLoRAのまとめ記事です。特に4bit量子化フォーマットNF4の技術的詳細を掘り下げて記述しています。 paper: QLoRA: Efficient Finetuning of Quantized LLMs, May 2023 Overview モデルの重みの4bit量子化フォーマット(NF4)を提案 モデルの重みをNF4で量子化した状態でRoLAの重みを学習→QLoRAは16bit精度のfull-finetuningと同等の性能を実現 QLorAはfine-tuningにおけるGPU環境の敷居を下げた（33Bモデルを24GBのGPUで、65Bモデルを48GBのGPUで学習） fine-tuningからさらに発展させて、QLoRAを用いてInstruction TuningしたモデルQuanaco（7B~65B）の包括的
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
zenn.dev/bilzard
zenn.dev/bilzard
zenn.dev/bilzard
zenn.dev/bilzard
note.com/saki_reset
anond.hatelabo.jp
pandora11.com
anond.hatelabo.jp
pingcap.co.jp
www.watch.impress.co.jp
otakuma.net
zenn.dev/satoyoshi
zenn.dev/collabostyle
tech.speee.jp
panazone.jp
u-note.me
developers.freee.co.jp
tech.nri-net.com
tech.uzabase.com
onaji.me
