GitHub - microsoft/BitNet: Official inference framework for 1-bit LLMs

Try it out via this demo, or build and run it on your own CPU or GPU. bitnet.cpp is the official inference framework for 1-bit LLMs (e.g., BitNet b1.58). It offers a suite of optimized kernels, that support fast and lossless inference of 1.58-bit models on CPU and GPU (NPU support will coming next). The first release of bitnet.cpp is to support inference on CPUs. bitnet.cpp achieves speedups of 1.

[misshiki]

“bitnet.cppは、1ビットLLM（例：BitNet b1.58）の公式推論フレームワーク。CPU上で1.58ビットモデルの高速かつロスレスな推論をサポートする最適化されたカーネルスイートを提供します（NPUやGPUのサポートは今後の予定）。

[arrowKato]

bitnet.cpp は、1 ビット LLM (例: BitNet b1.58) の公式推論フレームワークです。CPU 上で 1.58 ビット モデルの高速かつロスレスな推論をサポートする最適化されたカーネル スイートです(NPU および GPU のサポートは今後予定)。