Xwin-LM-70B-V0.1をOpen Interpreterから使ってみる。

はじめに 前回の記事で Xwin-LM-70B-V0.1 と Llama-2-70B の出力結果の比較しました。今回は Open Interpreter のバックエンドとして Xwin-LM-70B-V0.1 を使ってみます。 私の PC のスペック[1] i7 13700K 3090 24GB DDR5 128GB 準備 llama-cpp-python を CUDA を有効にしてインストールする。 sudo apt install -y build-essential cmake python3 python3-pip python-is-python3 \ && CUDA_PATH=/usr/local/cuda FORCE_CMAKE=1 CMAKE_ARGS='-DLLAMA_CUBLAS=on' \ pip install llama-cpp-python --force-re

[misshiki]

“Open InterpreterのバックエンドとしてXwin-LM-70B-V0.1を使ってみます。”

[stealthinu]

非常に参考になった。特にllama-cpp-pythonをcuBLAS付けてコンパイルするのとか最初に読んだ時必要性わかってなくて後で苦労してからやっと意味わかった。これryeとかpipenvからやる方法がわからん。