タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
【ローカルAI】GUIでCodeLlama-34B-Instruct-GGUFを動かしてみる【text-generation-webui】
概要 ローカルLLMで最近話題の「CodeLlama-34B-Instruct-GGUF」をtext-generation-webuiから動かし、「ローカルLLMでもファインチューニングなしでプロンプト指示できる」感覚を体験してみる。 メイン読者ターゲット ご家庭にGPUがある人（CPUでも良いが遅い） 最適化だったり正しい理解ができてるかは別として、とりあえず動かしたい人 導入から書くので、推論スピードだけ確認したい人は下まですっ飛ばしてください。 導入 text-generation-webuiの導入 以下からclone 自分はpyenv+venv派なので python -m venv .venv でactivate。 あとは基本的にinstallationに従えば良い。 数少ないポイントとして、使ってるGPUやOSによってtorchが変わること、昔のGPUだとbitsandbytes
「text-generation-webui」で「Rinna」「OpenCALM」「RWKV」を試したので、まとめました。 ・Windows 11 1. text-generation-webui「text-generation-webui」は、大規模言語モデルを実行するためのWeb UIです。テキスト生成の「AUTOMATIC1111」になることを目標としています。 特徴は、次のとおりです。 ・3つのインターフェイスモード (default, notebook, chat) ・モデルバックエンド (transformers, llama.cpp, AutoGPTQ, GPTQ-for-LLaMa, ExLlama, RWKV, FlexGen) ・ドロップダウンメニューによるモデル切り替え ・LoRA (ロード・アンロード・学習) ・プロンプトテンプレート (Alpaca, Vicuna
GitHub - oobabooga/text-generation-webui: A Gradio web UI for Large Language Models. Supports transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF), Llama models.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
「text-generation-webui」で「Rinna」のLoRAファインチューニングを試したので、まとめました。 前回 LoRAファインチューニングを試すLoRAファインチューニングの手順は、次のとおりです。 (1) 前々回と同じ手順で、Rinnaと会話できるように設定。 今回は、Rinnaのベースモデル (rinna/japanese-gpt-neox-3.6b) を使いました。 (2) 「Modelタブ」で「load-in-8bit」をチェックして、Rinnaモデルを再読み込み。 (3) 「あかねと〜くデータセット」(dataset_plain.txt) をダウンロードして「training/datasets」フォルダに配置。 今回は、EOSのないプレーンの方を使いました。 (4) 「Training タブ」で「Name」にLoRAモデル名を指定し、「Override Exis
tl;dr 2023/7/19 に公開された Llama 2 を試してみたよ text-generation-webui の上で Llama 2 をローカル環境（M2 Mac）で動かしたよ 遅過ぎて GPU がほしいとなったよ →Google Colab 版をお勧めするよ 結果的に実用的ではなかったけれど、途中過程は参考になるかもだよ Llama 2 とは Meta の大規模言語モデル。無料で利用可能で、商用利用も可。パラメータ数は 7B、13B、70B。公開データセットから学習されており、個人データは含まれていません。 Llama 2-Chat は Llama 2 をベースに RLHF を施したモデル。既存のオープンソースのモデルを上回る性能を示し、一部の指標ではクローズドなモデルと匹敵する性能。 text-generation-webui とは ブラウザで使える文章生成 AI 用の U
「Google Colab」で「Text Generation WebUI」を試したので、まとめました。 1. Text Generation WebUI「Text Generation WebUI」は、LLM用のGradio WebUIです。テキスト生成における「Stable Diffusion WebUI」になることを目標に開発されました。 主な特徴は、次のとおりです。 ・3つのインターフェイスモード ・default ・notebook ・chat ・モデルの切り替え ・モデルバックエンドの切り替え ・Transformers ・llama.cpp (llama-cpp-python経由) ・ExLlama ・ExLlamaV2 ・AutoGPTQ ・AutoAWQ ・GPTQ-for-LLaMa ・CTransformers ・QuIP# ・チャットテンプレートの切り替え ・Lla
以下の記事で紹介されている、LoRAファインチューニングのパラメータ調整ガイドがわかりやすかったので、簡単にまとめました。 ・Training Your Own LoRAs 前回 1. VRAMはじめに、「VRAM」を考える必要があります。 ・一般に、デフォルトパラメータを使用した学習でのVRAM使用量は、デフォルト設定で (1000以上のコンテキストトークンを含む) テキストを生成する時とほぼ同じになります。つまり、テキストを生成できれば、LoRAを学習できます。 ・VRAMに余裕がある場合は、より高い「batch size」を設定すると、より多くのVRAMが使用され、その代わりに学習の質が向上します。 ・データが大きい場合は、「cutoff length」を高く設定すると効果的ですが、VRAMが大幅に消費されます。余裕がある場合は、「batch size」を「1」に設定し、「cutof
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
text-generation-webui で Rinna・OpenCALM・RWKV を試す｜npaka
text-generation-webui で RinnaのLoRAファインチューニングを試す｜npaka
Llama 2 を text-generation-webui で動かす
Google Colab で Text Generation WebUI を試す｜npaka
text-generation-webui の LoRAファインチューニングのパラメータ調整ガイド｜npaka
news.yahoo.co.jp
matomedane.jp
www.japan-eat.com
newsdig.tbs.co.jp
tsubomi.nk.awe.jp
jp.quora.com