DeepSeek R1をほぼ準備なしからローカルGPUで動かす｜しぴちゃん

しぴぴぴ！ Vtuberのしぴちゃん (https://www.youtube.com/@CP-chan)です。普段はゲーム配信しかしてませんが、たまにAIについて発信することがあります。今日はAIの記事の方。 現在はローカルAIモデルに関する連載をしています。 第一弾 本記事（DeepSeek R1をほぼ準備なしからローカルGPUで動かす） 第二弾 Cline＋ローカル版DeepSeek R1でAIコーディングを使い放題にする（高スペックマシン向け） 最近話題のローカルで動くLLM、DeepSeek R1 をローカルGPU環境（NVIDIA）で動かしてみましょう。 多少のコマンドラインの操作ができれば、事前にローカルLLMを触ったことがなくてもインストールできるように書くつもりです。 サムネはDeepSeek R1くんに画像を生成してもらおうとしたところです（そんな機能はありません）。

[colonoe]

id:Crean このAIに変えればもっとまともなブコメが書けるんじゃないの

[kotesaki]

DeepSeek R1レベル（蒸留＆量子化モデルとは言え）Localで動かせる時代になったんだなーと胸熱

[napsucks]

メモリ64GのPCのLM Stadio 0.3.8で蒸留70B Q2をCPUのみで動かしたら1トークン/sぐらいでもうこれ昔のパソコン通信だろって気分になった😂 でも待てばちゃんと出力されたよ。qwenはあまり日本語かしこくないような気がする

[shag]

llama-b4611-bin-win-cuda-cu12.4-x64.zip がウィルス判定されて出来なかった。https://github.com/ggerganov/llama.cpp/issues/11523 にも挙がってるけどなんだろ？

[masterq]

"日本語性能にかなり差があるので、最低でも日本人は14B以上のモデルを使った方が良い"/"GPU NVIDIA RTX 3080 VRAM 10GB（もっと低スペックでも動く"

[tolkine9999h]

グラボ買うか！という気持ちになる記事。

[misshiki]

“LLM、DeepSeek R1 をローカルGPU環境（NVIDIA）で動かしてみましょう。”

[remonoil]

蒸留モデル（14B）、日本語だとアホ気味だけど英語だとかなり凄いな…

[cpw]

あとでやるかも

[yarumato]

“Distilled（蒸留）は大きいモデルをできるだけ性能を保ったまま小さいモデルにする操作。quantization （量子化）で半分～1/4のVRAMで大きいモデルを動かせる。GPUがないPCで動かすと動くが遅い。メモリ32GB、RTX 3080 10GB”

[mu8080x]

Distillモデルなら，LM Studio使えば，もっと楽に動かせますよ．

[zgmf-x20a]

大抵は一昨日ollamaで楽しんでるかと…

[nt1192]

紹介されてた 量子化レベルを下げた DeepSeek-R1-Distill-Qwen-14B-IQ4_XS.gguf なら 8GB mem の グラボで結構やれるかな。試してみたい。

[l_etranger]

Ollamaでテストしてみた。DSR1:14Bでかなりいい感じだった。日本語も概ね破綻がない。自作RAGチャットボットの中の人の役をなかなかそつなくこなしてくれる。<think>が面白い。心の声がダダ漏れになっている。