気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
2users
がブックマーク
0
0
TeslaP40(VRAM/24GB)x2+RTX3060/12GB+X99マザボセットでローカルLLM推論専用マシンを作った話
2 users
t632memo.fc2.net
t632memo.fc2.net
記事へのコメント0件
- 注目コメント
- 新着コメント
新着コメントはまだありません。
このエントリーにコメントしてみましょう。
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
TeslaP40(VRAM/24GB)x2+RTX3060/12GB+X99マザボセットでローカルLLM推論専用マシンを作った話
■目次 ・1.はじめに/注意事項 ・2.ハードウェア ・3.ソフトウェア ・4.BIOS設定 ・5.OSのインストール ... ■目次 ・1.はじめに/注意事項 ・2.ハードウェア ・3.ソフトウェア ・4.BIOS設定 ・5.OSのインストール ・6.CUDAのインストール ・7.カードにPLを設定する ・8.DockerでText generation web UIを立ち上げる ・9.言語モデルのダウンロードと設定、推論など ・10.参考にしたサイトなど 1.はじめに/注意事項中古のNVIDIA Tesla P40/24GBをローカルLLMの推論用に使うのは茨の道です。 ローカルLLM推論用に大容量のVRAMが欲しければ素直にマイニング落ちのRTX3090/24GBなどを使う方が難易度/汎用性/ワッパ/リセールバリュー（手放して売る際の値段など）などの面で優れています。 Linux環境ではIntel/Arc、AMD/Radeonという選択肢もあります。 2.ハードウェアTesla P40はサーバー/ワークステー
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
t632memo.fc2.net
nordot.app
togetter.com
bunkaonline.jp
www.dragonquest.jp
gigazine.net
zenn.dev/dmikurube
qiita.com/rS_alonewolf
docs.anthropic.com
www.nicovideo.jp
speakerdeck.com/kanny
d.s01.ninja
gigazine.net
www.thepianoera.com
kennsyouenn2.jugem.jp
onaji.me
sakumaga.sakura.ad.jp
tech.bm-sms.co.jp
agilejourney.uzabase.com
