【ローカルLLM】日本語対応をうたう中華系多言語モデル「Guanaco」を試す｜Baku

一般に「Guanaco」という名称でよく知られる言語モデルは、2023年5月にワシントン大学の研究者が公表したこちらのモデルである。 このモデルは、彼らが考案したファインチューン手法QLoRAを用いてLlama-1（7B, 13B, 33B, 65B）に微調整を行ったもので、 OpenAssistant Conversations (OASST1)という人手で作成した多言語対話データセットで追加学習している。 OASST1は多言語とはいえ、英語や欧米言語中心のデータセットで、このうち日本語の比率はごくわずか。そのためか、Guanacoの日本語能力は特に高くない。 ところが、HuggingFace上にはもう一つ「Guanaco」と称する別のLlama系モデルが存在していた。そして、こちらは「英語、中国語（簡体字・繁体）、日本語、ドイツ語」をカバーすると明記されている。 学習データには、Apl