LLMのパラメータ数、学習データ量ってなに？ - Qiita

はじめに LLMのモデルサイズ（例.8B、70B）とかって、イメージ湧かなくないですか？ 一般の方からすると。凄さとか、学習の大変さが伝わりづらい 「モデルのパラメータ数」と「事前学習のデータ量(トークン数)」も混同しがち このへんを整理していきます。 パラメータ数と学習データ量 モデルのパラメータ数 パラメータとは、機械学習モデルが学習によって調整する変数のこと パラメータの数が多いほど、モデルは複雑な関数を表現できる パラメータ数は、モデルの "表現力" と言えます 最新の大規模言語モデル (LLM) は、数百億から数兆のパラメータを持つものもある 例えば、1000億のパラメータを持つモデルは、1000億個の "ニューロン" を持つ人間の脳に例えることができます。 学習データ量 機械学習モデルは、大量のデータから規則性やパターンを学習します 学習に使うデータの量が多いほど、モデルはより