こんにちは.AIチームの二宮です. 本記事では,最近話題のPrompt-tuningのご紹介と,実装・実験・分析を行ってみました. はじめに 近年,言語モデルの大規模化が著しいです.例えば,huggingfaceで公開されている日本語版のいくつかの言語生成モデルGPTのパラメタ数は以下になります. (M: million, B: billion) rinna/japanese-gpt2-xsmall: 37M rinna/japanese-gpt2-medium: 336M rinna/japanese-gpt-1b: 1.3B abeja/gpt-neox-japanese-2.7b:2.7B naclbit/gpt-j-japanese-6.8b:6.8B BERT-baseが約110M,BERT-largeが約340Mであることを考えると,非常に大規模であることを実感しますね.最近話