ソフトバンクの生成AIは「1兆パラメーター目指す」と宮川社長 “蒸留”して「研ぎ澄まされたLLMに」

ソフトバンク子会社のSB Intuitionsが開発している国産大規模言語モデル（LLM）は、1兆パラメーター超えを目指す──ソフトバンクの宮川潤一社長が2月7日に開催した決算説明会（2024年3月期第3四半期）の中で明らかにした。 同社は2023年10月に国内最大級の生成AI開発向け計算基盤の稼働とLLM開発の開始を発表した。宮川社長によると、開発中のLLMは23年12月末の時点で1300億パラメーターに達し、検証を実施しているという。 当面の目標は「3900億パラメーターの構築。並行してLLMのマルチモーダル化も進める」。文書だけでなく、図表や符号、画像といった入力にも対応したLLMを2024年度中に完成させるという。 さらに「先の話」として、1兆超えのパラメーター数を目指すという。そこから“蒸留”とよばれる、パラメーター数の多いモデルの出力をより小さく軽量なモデルに学習させて計算効率

[kekera]

なんかもはや主流の企業はパラメータ数とかで勝負してない気がするんだけど、ここであえてパラメータ数でアピールしているの興味深い

[misshiki]

“さらに「先の話」として、1兆超えのパラメーター数を目指すという。そこから“蒸留””

[prjpn]

携帯ビジネスの経験値を活かして、上限ありの従量課金な生成AIをサービス化して欲しい。

[ustar]

いやいや雑味がAIの味なんですよしらんけど

[iwanofsky]

うーん

[augsUK]

GPT4に乗っかって蒸留部分で勝負するのではないのか

[mayumayu_nimolove]

すごいのそれ？絵とかチャットだとすごく素人でもわかりやすかったけど。