はじめに こんにちは! ハッカソンでGPUがないノートパソコンで、ローカルLLMを動かすことに苦戦したアヤノです。 たまにGPUがない環境でローカルLLMを使わざるを得なくなるため、その方法をまとめました。本来ならローカルでOllamaを動かす方が良いのですが、今回はどの環境でも確実かつ簡単に動かすためにDockerの上でOllamaを動かす方法を紹介します。Dockerを使うことでハッカソンのためだけに環境を汚さず、誰のパソコンでも動くシステム構成に繋がります。 本記事は「Dockerを触ったことがあり、GPUなし環境でLLMを動かしたい人」向けです。 TL;DR GPUなしでも、Ollama + DockerでローカルLLMは実用レベルまで高速化できる 高速化のポイントは以下の4つ リソース解放: Docker Desktopのメモリ・CPU割り当てを最大にする。 モデル選定: 「パラ

