米OpenAI(オープンAI)が2023年3月中旬にリリースした最新の巨大言語モデルGPT-4については、大きな「謎」がある。機械学習モデルの規模(パラメーター数)や学習させたデータ量が明らかにされていないのだ。 2020年発表の「スケーリング則」がここにきて話題に オープンAIが2022年11月にリリースしたAI(人工知能)チャットボットChatGPTの能力があまりに高いことから、日本でもここにきて巨大言語モデルのスケーリング則(Scaling Law)が改めて注目されている。 スケーリング則とは、オープンAIが2020年10月に発表した論文「Scaling Laws for Autoregressive Generative Modeling」で示した法則だ。オープンAIは2020年6月に発表した巨大言語モデルGPT-3の経験に基づき、自己注意機構(SA、Self Attention)