機械に話しかけて設定できる時代が来る？ なぜ“小規模”なLLMが求められるのか

小規模LLMの利点 LLMにおいて、学習パラメータ数は性能に直結する。パラメータ数を上げれば性能が向上するというのは「最近においては研究者の間でのコンセンサス」（企業向けのAIソリューション開発を行うLaboro.AIの藤原弘将COO兼CTO）だ。 一方で、注目を集めつつあるのがLLaMAのような小規模なモデルだ。 LLaMAはパラメータ数の異なる4つのサイズ（7B、13B、33B、65B）で提供されている。これは175B規模のGPT-3や、それを遥かに上回るといわれるGPT-4に比べると非常に小さいが、13BサイズでもGPT-3よりも性能が上だという。 モデルを大規模化すれば性能が上がることが分かっていても、小規模でも高性能なモデルの開発が注目されている理由の1つは、ビッグテックによるLLM独占への警戒感だ。大規模モデルの学習は規模が大きくなるほど必要な演算量も増える。「例えばAWSを使

[canadie]

これについては「来る？」ではなくもう来ている（APIに投げる用の出力はもう出せる）。小規模LLMの需要はわかるが、別になくともクラウドで計算させればよいわけだし。

[gogatsu26]

会話の苦手な者は淘汰される

[misshiki]

小さなCPUやGPUで動く小規模LLMが実用化されれば、NLUIな世界がやってくるよね、という話。

[nakex1]

人間が論理的に指示を出す能力のほうが心配。AIも頑張るだろうけど，一意に決まらなくて何度も言葉のキャッチボールをしたりとか，指示できたと思っていたら思ったのと違う結果になったりとか。

[mayumayu_nimolove]

来てもらわないと困る

[ustar]

小規模大規模言語モデル