新たな自然言語処理の仕組み(言語生成モデル)であるGPT-3が話題になっています。性能の向上だけでなく、ビジネスにおける自然言語処理活用の可能性を一気に広めるかもしれないものな気がするので、GPT-3が見せてくれた未来について書いていきます。詳しい説明とデモはRyobot氏の以下のブログでどうぞ。 deeplearning.hatenablog.com 論文は以下。何か間違ってたら教えてください。 arxiv.org さて、GPT-3が開いた可能性とは、「素人が好き勝手自然言語処理(=AIの活用)をできる未来」です。といっても現状がわからないとわからないと思うのでそこから説明していきます。 これまでの仕組み これまでの仕組みでは、自然言語処理で何かしらのタスクを行う際には以下の手順が必要でした。 ①汎用言語モデルを作る ②タスクごとにfine-tuning 言語モデルって何という具体的な話