和製生成AIをサイバーエージェントが作る理由。“無償公開の狙い”をAI開発チームに聞く

サイバーエージェントが突如、オープンソースとして無償公開した大規模言語モデル（LLM）｢OpenCALM（オープンカーム）｣が話題を呼んでいる。 国内の大手IT企業が、研究、商用など目的を問わず使用できる大規模言語モデルを公開するのは非常に珍しい試みだからだ。 今、国内の生成AI業界では、日本を軸にした新たな動きが活発化している。 サイバーエージェントと同日の5月17日にrinna社からも独自のLLMがオープンソースで登場したり、22日には東京工業大学と富士通などが2023年度中にスーパーコンピューター｢富岳｣を使い、和製生成AIを開発すると公表した。 なぜサイバーエージェントがLLMを作り、オープンソース化したのか。その狙いをAI事業本部の開発チームに聞いた。 —— 5月17日の発表を見て、少なからず｢なぜサイバーエージェントからLLMを？｣と考えた人もいそうです。大規模言語モデルを自社

[misshiki]

“どんなコーパス（文章データ）を学習させるかによって（LLMの）性能というのはかなり変わってくるので、これは一社で取り組むというよりは日本全体で取り組んでいくべき問題だと思っています。”そう思う。

[isrc]

OpenCALMでは日本語を前提としたトークナイザーを使っています。トークナイザーが違うと、そもそもトークン数※がかなり変化するわけです。

[cardiogram]

あらゆる分野で生成AIが当たり前になるのは確定してるからな。技術を提供する側が勝つ

[nmcli]

国語研とかも巻き込んで研究に深みを作って欲しい

[pascal256]

こういうのすら取り込めるcopilot stackはかなり気になるのよなー。