Why Large Language Models Fail at Tabular Prediction

[kiririmode]

ラベル付きの数値例から新しいクラスを推定する文脈内分類では、同じ情報をより多くの特徴量に分散表現するだけで性能が崩壊する。LLMには、この種の分類において、特徴量数の増加そのものに対してスケールしない。