TeslaP40(VRAM/24GB)x2+RTX3060/12GB+X99マザボセットでローカルLLM推論専用マシンを作った話

TeslaP40(VRAM/24GB)x2+RTX3060/12GB+X99マザボセットでローカルLLM推論専用マシンを作った話 1.はじめに/注意事項中古のNVIDIA Tesla P40/24GBをローカルLLMの推論用に使うのは茨の道です。 ローカルLLM推論用に大容量のVRAMが欲しければ素直にマイニング落ちのRTX3090/24GBなどを使う方が難易度/汎用性/ワッパ/リセールバリュー（手放して売る際の値段など）などの面で優れています。 Linux環境ではIntel/Arc、AMD/Radeonという選択肢もあります。 2.ハードウェアTesla P40はサーバー/ワークステーション向けの演算専用カードなので映像出力端子が付いていないほか、マザーボードのBIOSで下記の設定を有効にしないと認識すらされません。 また、専用のアクティブクーラーや電源の変換ケーブルなども必要です。 コ