僅か2.3GBで日本語可能な超高性能ローカルLLMのPhi-3 MINIをllama.cppとCPUで動かしてみた。スマホでも可。従来のコンパクトLLMと比較して超越した性能で未来を感じさせるMicroSoft寄付ありがとうKapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 昨日MicroSoftからリリースしたローカルLLMモデルのPhi-3 mini 4k Q4をllama.cppのサーバ版を動かしてみた。こいつ2.32GBしかないくせに日本語しゃべれるぞ。今までとは桁違いの性能なんですけど・・・ ./build/bin/server -m ../Phi-3-mini-4k-instruct-q4.gguf -n 128 huggingface.co/microsoft/Phi-… pic.twitter.com/DTmUmeh7JE
Sentencepiece : ニューラル言語処理向けトークナイザ - Qiita
