Microsoft Research、CPU上で動作する1ビットコンパクトLLM「BitNet b1.58 2B4T」を発表

4兆トークンのコーパスでトレーニングされたこのモデルは、20億パラメータスケールの、ネイティブ1ビットLLMである。同様のサイズの主要なモデルに匹敵するパフォーマンスを達成できると同時に、計算​​効率（メモリ、エネルギー、レイテンシ）において大きな利点を提供できる。 このモデルのアーキテクチャはTransformerベースで、BitNetフレームワークで変更されている。 量子化については、フォワードパス間で絶対平均量子化 （AbsMean Quantization）を使用して、各重みが「-1」「0」「+1」の3値に量子化する。アクティベーションは、絶対平均量子化で8ビットの整数に量子化される。トレーニング後に量子化されるのではなく、この量子化スキームを使用して最初からトレーニングされている点が特徴。 現在、Hugging Faceでモデルウェイトのいくつかのバージョンが利用可能。詳細なコン