革命かパンドラの箱か、新AIツールGPT-3の波紋:星暁雄「21世紀のイノベーションのジレンマ」(3/5 ページ) GPT-3は大規模化を追求した「言語モデル」 GPT-3の正体を一言で説明するなら、「テキスト生成のための巨大な学習済みモデルを備えているAIツール」だ。GPT-3の特徴は、とにかく規模が巨大なことだ。 OpenAIの開発者らは論文中で、GPT-3を「1750億のパラメータ(変数)を持つ自己回帰型言語モデル」と呼んでいる。また機械学習のため、Webサイトから数年にわたり収集した1兆語におよぶデータセットを用いている。 かみ砕いて説明すると、こうなる。1兆語から成るきわめて巨大な例文集を元に、1750億種類の変数を持つ「言語モデル」に言葉と言葉の関連の度合いを記憶させておく。この「言語モデル」に対して「数種類の実例と課題文」を与えると、それらしい文章を出力する。これがGPT-3