TeslaP40(VRAM/24GB)x2+RTX3060/12GB+X99マザボセットでローカルLLM推論専用マシンを作った話■目次 ・1.はじめに/注意事項 ・2.ハードウェア ・3.ソフトウェア ・4.BIOS設定 ・5.OSのインストール ・6.CUDAのインストール ・7.カードにPLを設定する ・8.DockerでText generation web UIを立ち上げる ・9.言語モデルのダウンロードと設定、推論など ・10.参考にしたサイトなど 1.はじめに/注意事項中古のNVIDIA Tesla P40/24GBをローカルLLMの推論用に使うのは茨の道です。 ローカルLLM推論用に大容量のVRAMが欲しければ素直にマイニング落ちのRTX3090/24GBなどを使う方が難易度/汎用性/ワッパ/リセールバリュー（手放して売る際の値段など）などの面で優れています。 Linux環境ではIntel/Arc、AMD/Radeonという選択肢もあります。 2.ハードウェアTesla P40はサーバー/ワークステー
