Q&A + RAG に特化したLLMをSFTで学習させ4bit量子化モデルを作り、GPT3.5以上の性能を7Bモデルで達成する - A Day in the Life

なお、評価に使ったコードはこちらの eval_xxx というコードである。 https://github.com/hotchpotch/youri-7b-stf-qa-context-jaqket/ Supervised Fine-tuning Trainer(SFT) を使った学習 STFは手軽な方法で指示に対して特定フォーマットの出力(Instruction Tuning)を学習させることができる方法である。学習のさせ方も簡単で、例えば ### 指示: 今日の天気は何ですか？ ### 入力: 本日は大雨ですね。 ### 応答: 大雨 のような例文を用意する。例では「### 応答:」以降がうまく出力されるように学習して欲しいデータである。この時、例文と「### 応答:」だけ与えれば、よしなに学習してくれる。実際の学習時には、「応答:」以降を推論し、望ましい回答である「大雪」のtokenの

[knok]

短いセンテンスを出すならそれぐらいのllmでいけるのか

[misshiki]

“Q&A + RAG タスクに特化した LLM を作ってみた。元モデルのLLMとしては、rinna社が公開している、youri7b-instruction を用いている。”

[sh2]

これはすごい。GPU用意して試してみたい

[sifue]

すごい。これは良い知見。

[ledsun]

“学習可能なSFTを使い、Q&A + RAG タスクで適切な回答ができるようなファインチューンを7BサイズのローカルLLMに対して行った。結果として、量子化したモデルで速度・精度共にご家庭のマシンでGPT3.5を超える性能を達成”