小規模LLMの利点 LLMにおいて、学習パラメータ数は性能に直結する。パラメータ数を上げれば性能が向上するというのは「最近においては研究者の間でのコンセンサス」(企業向けのAIソリューション開発を行うLaboro.AIの藤原弘将COO兼CTO)だ。 一方で、注目を集めつつあるのがLLaMAのような小規模なモデルだ。 LLaMAはパラメータ数の異なる4つのサイズ(7B、13B、33B、65B)で提供されている。これは175B規模のGPT-3や、それを遥かに上回るといわれるGPT-4に比べると非常に小さいが、13BサイズでもGPT-3よりも性能が上だという。 モデルを大規模化すれば性能が上がることが分かっていても、小規模でも高性能なモデルの開発が注目されている理由の1つは、ビッグテックによるLLM独占への警戒感だ。大規模モデルの学習は規模が大きくなるほど必要な演算量も増える。「例えばAWSを使