量子化とは| IBM

量子化とは、デジタル信号の精度を、通常は高精度の形式から低精度の形式に下げるプロセスのことです。この手法は、信号処理、データ圧縮、機械学習など、さまざまな分野で広く使用されています。 量子化は、大規模言語モデル（LLM）内で利用される手法で、通常は32ビット浮動小数点（FP32）または16ビット浮動小数点（FP16）などの高精度データの重みとアクティベーション値を、8ビット整数（INT8）などの低精度のデータに変換します。FP32とFP16が高精度データと呼ばれるのは、一般的にこれらのデータ型を使用するモデルの精度がより高いためです。これは、データをINT8のように圧縮すると、サイズが縮小され、その結果、実質的に精度が低下するためです。これは、量子化誤差とも呼ばれます。ニューラル・ネットワークの人工ニューロンに割り当てられた数値（0から1の間）は、アクティベーション値と呼ばれます。通常は8