UnslothのGoogle Colabノートブックで手軽にLLMの蒸留ができる｜shi3z

テクノロジーカテゴリーの変更を依頼記事元:

note.com/shi3zblog

26users がブックマークコメント

コメント

2

記事へのコメント2件

注目コメント
新着コメント

misshiki “彼らが実装した動的量子化のおかげで、4ビットLoRA(QLoRA)の性能劣化が抑えられ、無料アカウントでも7Bモデルくらいなら学習できてしまう”

2025/02/04 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

UnslothのGoogle Colabノートブックで手軽にLLMの蒸留ができる｜shi3z

これがすごく簡単なので、蒸留をお手軽に試したいという人にうってつけだと思う。何よりすごいのは、彼... これがすごく簡単なので、蒸留をお手軽に試したいという人にうってつけだと思う。何よりすごいのは、彼らが実装した動的量子化のおかげで、4ビットLoRA(QLoRA)の性能劣化が抑えられ、無料アカウントでも7Bモデルくらいなら学習できてしまうということ。学習そのものも数分から数十分で終わってしまうので、これまでにあったような「蒸留/ファインチューニングは凄く大変」というイメージでもない。目から鱗という感じ。いろいろなLLMを簡単に高速化できるので試してみるのも面白いかもしれない。 https://unsloth.ai/ Unslothが自分で用意した量子化モデルの一覧はこちら自分でもPhi-4の蒸留を試してみたが、少しハマりどころがある。まず、xformerのバージョンやら何やらを揃えないといけない。 Pythonは3.10で、CUDA12.1でやった。GPUはA100 80GBx1を使

ブックマークしたユーザー

ranto3811242025/02/05
nabinno2025/02/05
misshiki2025/02/04
yfnt2025/02/04
yohane002025/02/04
triceratoppo2025/02/03
jmako2025/02/03
cantaloupe2025/02/03
mirie09082025/02/03
cutc-mt2025/02/03
raugisu2025/02/03
tsutomu_yasui2025/02/03
UmaHorse2025/02/03
door-s-dev2025/02/03
yug12242025/02/03
iinalabkojocho2025/02/02
ZAORIKU2025/02/02
yuiseki2025/02/02

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

いま人気の記事 - 企業メディア

企業メディアをもっと読む

設定を変更しましたx