【llama2.c】15Mに満たない言語モデルで小さな物語を紡ぐ｜Baku

OpenAIのAndrej Karpathy氏による「llama2.c」が話題になっていた。 CPU環境で「Llama 2 アーキテクチャをゼロから学習させ、重みを生のバイナリファイルに保存し、シンプルなCファイルにロードしてモデルを推論する」という一連の流れが体験できるという。 My fun weekend hack: llama2.c 🦙🤠https://t.co/CUoF0l07oX Lets you train a baby Llama 2 model in PyTorch, then inference it with one 500-line file with no dependencies, in pure C. My pretrained model (on TinyStories) samples stories in fp32 at 18 tok/s on my