7Bモデルをドメイン特化させる学習をLoRAとGaLoreで試し比較する｜oshizo

テクノロジーカテゴリーの変更を依頼記事元:

note.com/oshizo

9 usersがブックマークコメント

コメント

0

記事へのコメント0件

注目コメント
新着コメント

新着コメントはまだありません。
このエントリーにコメントしてみましょう。

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

7Bモデルをドメイン特化させる学習をLoRAとGaLoreで試し比較する｜oshizo

コーディングや医療など特定のドメインに特化させることで高い性能を発揮するモデルはドメイン特化モデ... コーディングや医療など特定のドメインに特化させることで高い性能を発揮するモデルはドメイン特化モデルと呼ばれ、ベースモデルにドメインのコーパスを追加で学習させることで作成されます。この図はベースモデルからドメイン特化のモデルを得るまでのフローです。本記事では赤枠で囲っている③のドメイン特化学習を試した内容を紹介します。ドメイン特化モデルを得るまでのフローGaLoreについて2024/3に新しいLLMのファインチューニング手法GaLoreが公開されました。論文によれば、VRAM24Gのコンシューマ向けGPUで7Bモデルの事前トレーニング（図の①や②）もできる手法です。使い方Transf ormersにはv4.39.0から組み込まれており、今までのトレーニングコードを変えずに、TrainingArgumentsにoptimとoptim_target_modulesを指定するだけで利用できます

あとで読む

ブックマークしたユーザー

triceratoppo2024/04/14
jamalen2024/04/14
amring2024/04/14
tsintermax2024/04/13

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx