2024-02-27にarXiv公開され,昨日(2024-02-28)あたりから日本のAI・LLM界隈でも大きな話題になっている、マイクロソフトの研究チームが発表した 1ビットLLMであるが、これは、かつてB-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/abs/1803.10930 )という「1ビットGANのFPGA実装」を研究していた私としては非常に興味をそそられる内容なので、論文を読んでみた。今回は速報として、その内容のポイントを概説したい。 論文情報 Ma, S. et al. (2024) ‘The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits’, arXiv [c
![速報:話題の 1ビットLLMとは何か?|寺田英雄(㈱オープンストリームCTO)](https://cdn-ak-scissors.b.st-hatena.com/image/square/415065426a480fe6e7267877002f42c73db739f1/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F132489650%2Frectangle_large_type_2_d3e53b15c6b236003a8a62cd926053fe.png%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)