【ローカルLLM】QLoRAで「Vicuna-v1.5」の日本語翻訳性能を向上させる｜Baku

Llama-2(13B)の日本語ファインチューンで試行錯誤している。 fine_tuning521k-jaなどの日本語データセットを手始めに、ShareGPTの日本語データを抽出したりしてQLoRAを試したものの、成果はイマイチで素人の限界を感じる。ColabやRunpodのGPU課金だけが積みあがってゆく…。 というか、自分でLlama-2を日本語ファインチューンしたモデルより「Vicuna」のほうが普通に日本語がうまい。 ならば、Llama-2のベースモデルをイチから日本語トレーニングするよりVicunaをファインチューンした方が話が早いのでは？と思うに至った。 Vicuna自体がLlamaのファインチューンモデルなので、さらにファインチューンを重ねるのがいいのかよくわかんないが…とりあえずテスト。 データセットの用意ひとまず最初は、翻訳タスク（英→日）に限定して「Vicuna-13B

[endo_5501]

“というか、自分でLlama-2を日本語ファインチューンしたモデルより「Vicuna」のほうが普通に日本語がうまい” ほんとうに、なんでVicuna-v1.5はあんなに日本語がうまくなったんだろう