ローカル LLM を構築した

AI 利用の開示：この記事を書くにあたっての調査やブレインストーミング、校正には AI を用いましたが、本文の執筆やコードの実装、および出典の確認はすべて人間が行いました。 AI は好きだが AI 企業は嫌いだ こんにちは。みなさんは AI を使いこなしていますか？ 私は正直、あまり乗れていません。もちろん AI は非常に便利な道具だと思うし、使わない日はありません。しかし、その非決定論的な性質を考えると、いささか過大評価されているように感じます。 AI 企業の倫理的な問題も気になります。 Anthropic の CEO であるダリオ・アモディ氏はわざと恐怖心を煽るような宣伝をしていると批判されています[1]。アメリカによるイランへの攻撃には xAI の Grok が使われています[2]。データセンターの建設による環境破壊の懸念もあります。 かれらの煽動に乗せられて「AI を使いこなせるよ

[naozane2]

Qwen3.6-27B-FP8・2枚の RTX 3090 を導入・ VRAM は合計で 48 GB・33.2 token/s ／グラボは×2で36万円くらいかな／電気代が…。

[knok]

モデルを作る話ではなく実行環境の話だった

[sotonohitokun]

画像作成や動画もローカルでーならほぼそれだが、LLMだけならコストはGB10の方が良い。今そのモデル(NVFP4)なら50TPS行くし24Hエージェント立てる時の電気代がデカい

[rdlf]

この価格を出すならMacBook Proを買っても良さそうだが…まぁGPUがしょぼいから動くけど性能はイマイチだったりするけど。

[ys0000]

"AI は好きだが AI 企業は嫌いだ'、が導入でそのAI企業が作成したLLMモデルを使う話になるとは思わなかった。トークン代払いたくないです、じゃなくて？？／自分で学習データ用意してモデル作るなら分かる。

[bocuno]

mac miniにモリモリメモリして買おうかなと思ってたけど、先日の値上げで。ほならclaudeでええわとなった。

[zou_crypto]

どう頑張ってもfableやgpt5.6には敵わないわけで、fableを課金して、実装部隊でこれなのか？凄まじい量のコーディングを行わない限りペイしない気がする。よっぽどセキュリティ気にするかどっちかやね

[tonza_dopeness]

58万+維持費か…。庶民にはAIサブスクが精一杯やな。

[sek_165]

時代はGLM-5.2だぞ。3090があと6枚くらい足りないかな？

[gairasu]

いまやllama入れれば誰でも簡単にローカルで組めるのに

[kamm]

型落ちmacを買った方が安上がりに済みそうhttps://www.costco.co.jp/c/AppleMacBook-Pro-16-inch-14-core-CPU20-core-GPUApple-M4-Pro-chip48GB512GB-SSD/p/69498

[soulfulmiddleagedman]

ノウハウ共有、ありがたい。こんな金かかるのか。

[mr_mayama]

動機が変。なぜそれでQwenなら良いんだか。

[otanuft]

“GB”

[wordi]

今は、普段は16GB VRAMのRTX5060Tiに収まるQAT Q4やNVFP4モデルで、コード補完ならそもそもLSPで良くて、必要時にOpenRouterで70B級を動かすくらいが良いと思う

[masatotoro]

メモリ48GB