Kapper@Linuxガジェヲタ&異世界小説家&生成AI&電子工作大好き @kapper1224 昨日MicroSoftからリリースしたローカルLLMモデルのPhi-3 mini 4k Q4をllama.cppのサーバ版を動かしてみた。こいつ2.32GBしかないくせに日本語しゃべれるぞ。今までとは桁違いの性能なんですけど・・・ ./build/bin/server -m ../Phi-3-mini-4k-instruct-q4.gguf -n 128 huggingface.co/microsoft/Phi-… pic.twitter.com/DTmUmeh7JE 2024-04-24 22:46:51
![僅か2.3GBで日本語可能な超高性能ローカルLLMのPhi-3 MINIをllama.cppとCPUで動かしてみた。スマホでも可。従来のコンパクトLLMと比較して超越した性能で未来を感じさせるMicroSoft寄付ありがとう](https://cdn-ak-scissors.b.st-hatena.com/image/square/761a3ae94d9323fe5296734cefd6e70d7bf15571/height=288;version=1;width=512/https%3A%2F%2Fs.togetter.com%2Fogp2%2F4f675169376e1fea41ef285314e7f3ed-1200x630.png)