いちばんやさしいローカル LLM｜ぬこぬこ

https://t.co/q01cRabCyw な、なんだこの本は...！ というのはさておき、初の商業出版で三章を書かせていただきました！日経 BP さんとの共著です！ もしよろしければお手に取っていただけるとうれしいです。年末年始、もしお時間がありましたら是非！#localllmbook — ぬこぬこ (@schroneko) December 14, 2024 2024 年 10 月追記 記事執筆から半年経ちまして、ライブラリやアプリのデファクトスタンダードが定まってきました。扱っているモデルも古くなっています。本当に流れがはやいですね。本記事も逐次更新していきますので、引き続きご覧いただければ幸いです。 アップデート Ollama→かなり使われるようになり、ローカル LLM を始めたい方にはうってつけです。 Open WebUI→Ollama が利用されることが多くなり、UI とし

[RySa]

GPU無しのMacbook Airでも動作確認出来た。因みにGemma:2bで受け答えは英語。今晩の料理のおすすめを教えてくれて最後に「ナプキン用意しますね！」と言われた。君、実世界にナプキンどうやって持ってくるん？

[misshiki]

“Ollama という初心者の方でも比較的失敗しにくい LLM 推論アプリケーションを用いて、ローカル環境で LLM を実行するまでを取り扱います。”

[deejayroka]

“標準で量子化されたモデルを利用することができます。便利ですね。一方で、出たばかりのモデルや自前のモデル、たとえば日本語モデルに対応していないことも多いです。そういった時に自分で量子化し、Ollama で使え

[puhu208n]

出たての頃のローカルLLM実行環境は日本語特化LLMぶち込むと落ちたりしてたなぁ

[alex0715]

“Ollama”

[fai_fx]

"参考値として 32GB であれば 32GB までは動く感触です。"...

[buhoho]

ollamaは用意されてないモデル使おうとしたら自分でModelfile作る必要ありinstraction シーケンスの設定間違うとまともに動かないし辛かった。koboldcppは何も考えないで拾ってきたggufを読み込むだけでWebUIでチャットできる