「数千万円かかるコスト」と「山のような技術的課題」 開発者たちが語る、日本語LLMの現在地

基盤モデルの開発をしている中で苦労することは？ 南野充則氏（以下、南野）：では、ここからパネルディスカッションに移っていきたいと思います。最初は、こちら側でお題を用意しています。大きなトピックとしては、基盤モデルの開発とコスト、基盤モデルにおけるアカデミアとビジネスの観点でどのような考え方をされているのかというところ。 あとは、日本語特化LLMの意義と展望といったところですね。大きなトピックとして揃えていますが、今「Slido」でのご質問もいただいていますので、適宜Slidoも拾いながらやっていければと思います。Slidoは、このQRコードからみなさんに質問していただければと思います。 さっそくですが、トピック1に移っていきたいと思います。「基盤モデルの開発をしている中で苦労されることは？」というところで、これはまず垣内さんからお願いしたいです。この基盤モデルを作っている中でどんな苦労があ

[augsUK]

数千万円なら会社での一人二人の人件費にすぎないわけだが、大学だと人件費ゼロで働かせて教授だけがスタートアップを立ち上げて利益をもらうとかあるダンピング体質だからより重く見えると。

[buhoho]

GPU集めるコネとぶん回す資金よね。規模で殴れば性能上がる！って示したGPTだから規模で殴れないならそりゃ厳しいよな。Swallow使ってみたいな。

[tmatsuu]

膨大な文字コンテンツを持っているであろう出版社や新聞社とかとタッグを組むと良さそうなんだけどな。そう易々とコンテンツを提供してくれないか。

[misshiki]

“たぶんゼロから作るのと、それこそ「Llama 2」とかをベースにして作るのとで、また学習する桁が違うのかなと。Llama 2をベースとして作るんだとしたら、大規模なものだと、それでも数千万円ぐらいはかかるのかなと”

[quabbin]

データセットの作り方が面白かった。そう、結構泥臭いよなぁ

[havanap]

数千万出せなかったら出せるとこに負けるわな

[stealthinu]

LLM、特に日本語LLMを学習させている人たちのノウハウ。学習データセットの問題だけじゃなくて色々とあるのだな…