はじめに 最近、念願のつよつよ GPU がついた PC を新調して WSL で環境構築を頑張っている。今回は GPU を使った LLM の推論を試した。 ここでの GPU は NVIDIA のもので、GPU の環境構築は WSL で CUDA を使えるようにすることを意味する。また、WSL の Distribution は Ubuntu-22.04。 LLM としては rinna 社の日本語特化 InstructGPT を使った。 GPU on WSL 基本的に この手順 に従って進めれば WSL で GPU が使えるようになる。具体的には、Windows 11 へ WSL 対応 NVIDIA ドライバのインストール、WSL 内で CUDA Toolkit インストールの 2 点。 NVIDIA ドライバのインストールは NVIDIA のドライバダウンロードサイトで Windows 11
![Windows 11 の WSL で GPU を使って rinna InstructGPT - nownab.log](https://cdn-ak-scissors.b.st-hatena.com/image/square/edc18df6b336b351bedf5a2306be2572d517eb37/height=288;version=1;width=512/https%3A%2F%2Fblog.nownabe.com%2Fimages%2F2023%2F06%2F25%2Frinna-instructgpt.png)