大規模言語モデルの自然言語処理「Transformer」モデルの仕組み

第3回は、Transformerモデルのアーキテクチャーやデコーダーの処理内容、RLHFを使ったお作法の訓練を中心に解説します。 はじめに 前回は、大規模言語モデル(LLC)の概要のついて説明しました。今回は、GPTシリーズなどの大規模言語モデルが採用している「Transformer」という自然言語処理について解説します。 RNNやLSTMなどの回帰型ニューラルネットワークが中心だったところに彗星のように現れたTransformerは、どのような仕組みでGPTのような言語モデルを生み出したのでしょうか。 回帰型ニューラルネットワーク 私が2017年にThink ITの連載「ビジネスに活用するためのAIを学ぶ」を書いていた頃は、自然言語処理(NLP)と言えば次の2つが主流でした。拙書『エンジニアなら知っておきたいAIのキホン』にも、この2つの技術解説をしています。 RNN(Recurrent