WSL2にCUDA(CUBLAS) + llama-cpp-pythonでローカルllm環境を構築

はじめに はじめまして、こちら初記事となります（温かい目で見てください）。 今回の執筆の経緯は以下となります。 最近のローカルllmの流行りに乗っかろう ↓ windowsで環境構築しようとしたら、なんかインストール周りが面倒 & 管理がしづらい ↓ WSL2(ubuntu)に環境構築してみよう ↓ 手順を残しておきたい となりました。 すでにいくつかの記事でllmの環境構築手順は紹介されておりましたが、自分なりに行った手順をまとめましたので展開します。 また今回は使いませんが、せっかくなのでPyTorchのインストールも行います（CUDA_Toolkitをインストールする際に対応バージョンを合わせる必要があるため、後からインストールすると少し面倒になります）。 作業環境 OS: windows11 GPU: GeForce RTX 2080 SUPER CPU: Corei9-9900K