サイバーエージェント、独自の日本語LLM（大規模言語モデル）を開発 ―自然な日本語の文章生成を実現―

株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証プライム市場：証券コード4751）は、独自の日本語LLM（Large Language Model、大規模言語モデル）を開発したことをお知らせいたします。 本モデルはすでに130億パラメータまでの開発が完了しており、当社が提供する「極予測AI」「極予測TD」「極予測LP」などAIを活用した広告クリエイティブ制作領域のサービスにおいて活用を始めています。 近年、OpenAI社が開発した「ChatGPT」※1 を始めとする生成AI・LLMが世界的に注目を集めており、あらゆる業界において急速に活用が進んでいます。 一方、既存のLLMのほとんどは英語を中心に学習されており、現状では日本語および日本文化に強いLLMは少ない状況です。 このような背景のもと、このたび当社では日本語に特化した独自の大規模モデルを開発いたしました。当

[ono_matope]

Amebaブログで学習したLLM（だとしたら）、めっちゃ行間開けてきそう。

[hkanemat]

それを使って、よりクリックしてもらえる広告を開発するんですか。

[T-norf]

80基のNVIDIA H100導入のPRが今年の1月31日で、13bのLLMに日本語学習。商用で使う目的とすれば、3月末頃に公開されたCerebras-GPT-13Bを日本語でファインチューニングしたのかな。だとしたら公開して欲しいなぁ

[l__LINE__l]

ソフトバンクとの違いよ。。。

[MarvinParnroid]

ちなみにSoftBankはLINEが開発したHyperCLOVA(日本語に特化し現在820億パラメータを学習済み)を使って協業するとの事。

[dentaro]

応援！たしかにDeNAやメルカリも続いて欲しい！！

[kenzy_n]

なかなかの高難易度を繰り出してきた

[timetrain]

AIでも米国ITに全部握られたら貿易収支も文化面でも全部あっち優位になってしまうので、なんとか頑張って欲しい／ゲームの自動シナリオ作成の夢まで突き進んで欲しい

[masadream]

極予測AIにも活用されているとのこと。なるほど

[naggg]

"本モデルはすでに130億パラメータまでの開発が完了しており、当社が提供する「極予測AI」「極予測TD」「極予測LP」などAIを活用した広告クリエイティブ制作領域のサービスにおいて活用を始めています。"

[misshiki]

“当社がこれまでAI技術の社会実装を行う中で培った知見を活かし、広告制作のみならずチャットボットやRPAをはじめとする業界特化型のLLMの構築や、各企業と連携したLLMを活用したビジネス開発の推進等も予定”

[levele]

結構設備規模が本気だな。期待

[ichiken7]

活用法が広告コピー作りとか、なんか夢がないなぁ

[rissack]

最先端の技術も結局広告に使うのか。なんだかな。

[yamadar]

スピード感ある。素晴らしい

[programmablekinoko]

中小零細は開発コストと見合わないので絶対に、Microsoft365Copilotが一般向けに降りてくるのを期待している

[kei_1010]

ベンチマークとか出すのかな？

[htnmiki]

なんだよ使わせてくれないのかよ

[boomerangj]

お金がある日本のIT企業が始めてくれるのはとりあえず嬉しい。メルカリにもやってほしい。

[mukaken]

サイバーもLLMを開発とのこと。

[uchiten]

言語モデルの分野であれば各言語を母語とする国の企業がTechGiantと渡り合える可能性があるのか。

[hobbiel55]

ウマ娘のシナリオ開発にも使えるかな

[gifuwasabii]

これは期待したい

[urtz]

Bard以上か以下かで評価がかなり変わるだろう

[ebibibi]

おお。頑張って欲しい。

[esbee]

フムー

[NEXTAltair]

LLaMAが13Bもあればそこそこだったので期待できるが､トークン化し辛い日本語はどうだ

[gogatsu26]

「Amebaなう」をふと思い出した

[tsutsuji360]

ソフトバンク・・・・