Ollamaで体験する国産LLM入門

近年、AIの中でも大規模言語モデル（LLM）の研究開発が特に活発に進められています。日本でも日本語に特化した国産LLMの開発競争が熾烈を極めています。さらには、小規模でも高性能なLLMが登場し、GPUのない手元のPCでも簡単にLLMを動かせる時代が到来しました。 本書では、まずLLMを動かすための基本的な知識をわかりやすく解説します。LLMについて学ぶには膨大な知識が必要と思われがちですが、動かす（推論する）だけであれば、いくつかの重要なポイントを押さえるだけで十分です。 その上で、OllamaというLLM推論フレームワークを活用し、実際にいくつかの国産LLMを動かしてみます。Ollamaはローカルで動かせるオープンソースソフトウェア（OSS）でありながら、Google Cloud等のクラウドプロバイダーとの連携を強めており、今後はLLM推論フレームワークとしてのデファクトスタンダードにな

[Kesin]

Ollamaがhugging faceのGGUFを直接扱えるようになった話など最新動向までバッチリ反映されてる

[kotesaki]

アベノ10万円で買ったしょぼいRyzen5のマシン（メモリ16GB）でもそこそこ動く。すごいなー。もちろん動作は激遅だし、推論中は恐ろしくファンが回るけどLocal で LLMが動くのがすごい。感動した。

[misshiki]

“OllamaというLLM推論フレームワークを活用し、実際にいくつかの国産LLMを動かしてみます。” 無料本。短め。

[poad1010]

この記事をおすすめしました

[cpw]

読んでみる

[stts]

試した。LinuxでUninstallするときのメモ:/etc/systemd/system/ollama.serviceと/usr/local/とにインストールされてollamaユーザが追加されているっぽい