ファウンデーションモデル（基盤モデル）とは何か？ ～あらたなパラダイムシフトのはじまり～ - AI事業 - マクニカファウンデーションモデル（基盤モデル）とは何か？ 私は、膨大なデータから生まれる天才だと思っている。 はじめに AIエンジニアの佐々木です。インド、バンガロールの CrowdANALYTIX 社に赴任中で、業務のかたわらこの記事を書いています。 OpenAIは2020年1月に Scaling Laws for Neural Language Models で、 言語モデルは、学習にかけるコンピュータパワー、データセットサイズ、モデルパラメータ数を同時にスケールアップすると、テストロスが個々の要素のべき乗に従って低減するという経験則を示しました。その４ヶ月後の2020年5月に GPT-3 を発表し、生成される人間さながらの流暢な文章に世間は驚かされました。2020年11月には、スケーリング則が自然言語のみならずマルチモーダルモデル（画像、ビデオ、数学、テキスト画像変換、画像テキスト変換）にも
