7BでLlama2-70Bを超えた!?Synthia-7B-v1.3に日本の知識を試してみた｜shi3z

フランスのAIスタートアップが開発・公開したMistral-7BをベースにファインチューニングしたSynthia-7B-v1.3がさまざまなベンチマークで十倍のパラメータサイズを持つLlama2-70Bを超える性能が出たと主張されています。 Goodness me.. Synthia-7B-v1.3, trained on the Mistral-7B base, achieves 64.85 on the 4-evals used in HuggingFace. LLaMA-2-70B-Chat is 66.8. Is there any data contamination on the Mistral-7B, or is this legit? Just asking a question.. pic.twitter.com/FPVhDo332W — Migel Tissera (@