【Ubuntu日和】 【第91回】30万円のRadeon AI PRO R9700自腹購入！LLMにアプリを作らせて気づいた真実

[circled]

「もしかしたらRadeon AI Pro R9700を購入する必要はなかったのかもしれない」← なんか辛い

[PerolineLuv]

ローカルLLM使うのに数十万程度の投資では快適には使えない。その数十万で最新フロンティアモデル使えるプランに年間課金した方が良い。ただしローカルもどんどん良くなってるから無理ない範囲で検証しよう。

[kotaponx]

PascalとかAmpareしか無い自分は低みの見物。まぁ、RAMにオフロードすれば30B、量子化ぐらいなら、遅いなりに動くけども。

[TakamoriTarou]

小生の2ヶ月分分

[daybeforeyesterday]

うーむ

[mojimojikun]

このレベルのGPUを持ってないのでよくわかっていなくて、クラウドの奴にお金出せば素直に動くんじゃないのかなという位のお値段なんだよなと思うんだけど、こういう記事でそういうのとの違いがわかることが無いのよな

[sucelie]

爆速で作らないといけないアプリとか大規模じゃないかぎり3000円程度のプランでゆっくりトークン節約しながら作ったほうがマシなんだよなぁ(個人の感想です)

[collectedseptember]

書いてある用途だとローカルじゃなくても良さそうに見えるが真の用途はローカルじゃないとできないのだろう