■ URL https://www.ai-gakkai.or.jp/jsai2023/tutorial ■ 概要 2021年頃に登場した基盤モデル (Foundation Model) は，従来のように個別のタスクに仕立てたモデルを作るのではなく，単一のモデルを多様な後続タスクに適用可能となっている深層学習のパラダイムを表した言葉である．この傾向が特に顕著なのは言語（GPT-3，PaLMなど）であるが，マルチモーダル領域におけるImagenやCLIP，強化学習領域におけるGato，RT-1など多様な領域で同様のアプローチを取った研究が行われている．基盤モデルは一般にデータ・モデル両面のスケールと同時に説明されることも多く，モデルサイズ・計算量・データサイズと性能の関係に関する経験則（Scaling Law）や，モデル規模が拡大した際にのみ発現する能力 (Emergent Law) の存在な