“PCで自宅ChatGPT”がかなり手軽に！ GUIで簡単導入でき日本語もOKの「Text generation web UI」【イニシャルB】
生成AIのトップランナーといえば、米OpenAIが提供するGPT-4などを使ったChatGPTですが、その対抗馬として期待されているのが米Metaが提供する大規模言語モデル「Llama 2」です。 このLlama 2、GPT-3.5の3月1日時点のモデルに匹敵する性能を持っているというのがウリです。GPT-3.5といえば、無料版のChatGPTで使われているモデルです。それがオープンソースとして公開されたのですから、衝撃的です。 さらに、高性能なだけでなくモデルサイズが小さいことも特徴です。GPT-3のパラメータ数は1750億（175B）、GPT-3.5は未公開ではあるものの3550億（355B）と推定されています。一方で、Llama 2は、700億（70B）パラメータで、GPT-3.5並をうたっています。 パラメータが小さくなれば必要なGPUのメモリも小さくなります。GPT-3.5はデー
【ローカルAI】GUIでCodeLlama-34B-Instruct-GGUFを動かしてみる【text-generation-webui】
概要 ローカルLLMで最近話題の「CodeLlama-34B-Instruct-GGUF」をtext-generation-webuiから動かし、「ローカルLLMでもファインチューニングなしでプロンプト指示できる」感覚を体験してみる。 メイン読者ターゲット ご家庭にGPUがある人（CPUでも良いが遅い） 最適化だったり正しい理解ができてるかは別として、とりあえず動かしたい人 導入から書くので、推論スピードだけ確認したい人は下まですっ飛ばしてください。 導入 text-generation-webuiの導入 以下からclone 自分はpyenv+venv派なので python -m venv .venv でactivate。 あとは基本的にinstallationに従えば良い。 数少ないポイントとして、使ってるGPUやOSによってtorchが変わること、昔のGPUだとbitsandbytes
「text-generation-webui」で「Rinna」のLoRAファインチューニングを試したので、まとめました。 前回 LoRAファインチューニングを試すLoRAファインチューニングの手順は、次のとおりです。 (1) 前々回と同じ手順で、Rinnaと会話できるように設定。 今回は、Rinnaのベースモデル (rinna/japanese-gpt-neox-3.6b) を使いました。 (2) 「Modelタブ」で「load-in-8bit」をチェックして、Rinnaモデルを再読み込み。 (3) 「あかねと〜くデータセット」(dataset_plain.txt) をダウンロードして「training/datasets」フォルダに配置。 今回は、EOSのないプレーンの方を使いました。 (4) 「Training タブ」で「Name」にLoRAモデル名を指定し、「Override Exis
「Text generation web UI」のインストール方法と使い方！大規模言語モデルを自分のPCで手軽に動かそう
を丁寧にご紹介するという内容になっています。 大規模言語モデルというとChatGPTに使われている「GPT-4」が有名ですが、そのほかにも様々な企業・団体が開発に着手しており色々なモデルが存在します。ただ基本的にこの手のモデルはWebサービスの形で提供されているものが多く、自分のPCで動かすというイメージはあまりないと思います。 しかし調べてみるとLLMを手軽に扱える「Text generation web UI」という無料ツールがあったので今回使ってみることにしました。 ここではこのツールについて ツール概要 インストール方法 使い方 をなるべくわかりやすく書いていきますね。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ChatGPT（3.5）に匹敵する「Llama 2」をローカルPCで動かしてみた
text-generation-webui で RinnaのLoRAファインチューニングを試す｜npaka