【Ubuntu日和】 【第73回】余っているPCとビデオカードで生成AIサーバーを建てよう

[circled]

AI用に良いGPUを買うと、何故かSteamのゲームでずっとベンチマークし続けたくなっちゃう病気にかかるんだよね

[mrnns]

こんなん余ってない。以前間に合わせで買ったGT1030とかならある。

[zakinco]

グラボは気合入れて買ってください。

[kenjiro_n]

近所の中古屋でビジネス用デスクトップが数千円で出てたんで自宅サーバーのリプレースを夏ボーナスで考えていたけど、グラボをこの用途で入れようとするとVRAM8Gでも数万円するのか。とほほ。

[misshiki]

“余っているPCと余っているビデオカード(dGPU)を使用してLLMサーバーを建てる方法を紹介する。具体的にはOllamaを使用する。そして別PCから接続して使用する。”

[isrc]

やはり知識を問うものは厳しいが、何かを考えさせるのであれば実用的であるという実感を得た

[yarumato]

“余っているPCとVRAMが8GBしかないビデオカード(RTX3060 12G、AMD RX6600XT 8G)を使用してLLMサーバーを建てる。Ubuntu Server 24.04.2 LTS。OllamaのモデルはVRAMが12GBであれば14B、8GBであれば8Bが1つの目安。別PCのOllamaクライアントから接続”

[kazumi_wakatsu]

“前者は現在も現役バリバリであまり部屋に転がっていないかもしれない。筆者も転がっていたわけではないが”

[John_Kawanishi]

PCとグラボがあまるんだ

[hatebu_admin]

余ったPCの用途、Linux入れよう！からNASにしよう！となり遂には生成AI鯖になったのか

[kenzy_n]

お部屋でAI

[uzusayuu]

Ollama, Witsy