みずほリサーチ&テクノロジーズ ： 自然言語処理モデルは人間の脳にどこまで近づいたか人工知能の1つの分野である自然言語処理において、深層学習によるモデルの大規模化が加速している。GAFAをはじめとする大規模な資本が人的資源や計算資源に投入されていることの直接的な結果として、モデルに含まれるパラメータ数が2018年以降において2年で約1,000倍という驚異的な伸びとなっている。現状のパラメータ数が最大規模のモデルの例としては、人工知能を研究する米国の非営利団体であるOpen AIによるGPT-3がある。「長い間人間が作成したと考えられていたブログがGPT-3で生成されていた*1」「自然言語での記述からある程度のプログラムのコードが生成可能となった*2」といった記事にみられるように、、現在進行形で話題となっているのでご存じの方は多いであろう。 自然言語処理モデルのパラメータ数の変遷 ◆は計算環境としての許容パラメータ数、●は言語モデルのパラメータ数 出所：各種資料よりみずほリ
