Xwin-LM-70B-V0.1をOpen Interpreterから使ってみる。
はじめに 前回の記事で Xwin-LM-70B-V0.1 と Llama-2-70B の出力結果の比較しました。今回は Open Interpreter のバックエンドとして Xwin-LM-70B-V0.1 を使ってみます。 私の PC のスペック[1] i7 13700K 3090 24GB DDR5 128GB 準備 llama-cpp-python を CUDA を有効にしてインストールする。 sudo apt install -y build-essential cmake python3 python3-pip python-is-python3 \ && CUDA_PATH=/usr/local/cuda FORCE_CMAKE=1 CMAKE_ARGS='-DLLAMA_CUBLAS=on' \ pip install llama-cpp-python --force-re
【llama.cpp】Llama-2-70BとXwin-LM-70Bを出力を比較する。
はじめに Xwin-LM-70B が、オープンな LLM として初めて GPT-4 を超える性能を叩き出したとして注目を集めています。[1]また、早速 Xwin-LM-70B を量子化したモデルが TheBloke に公開されています。 この記事では、llama.cpp を用いて Llama-2-70B と Xwin-LM-70B の出力結果の比較を行います。 Llama.cpp の環境構築については以下のスクラップいまとめました。 私の PC のスペック[2] i7 13700K 3090 24GB DDR5 128GB 質問 1 「素因数分解について説明してください。」 Llama-2-70B-Chat Q2 User: 素因数分解について説明してください。 Llama: Sure! In number theory, the prime factorization of an int
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
