【ローカルAI】GUIでCodeLlama-34B-Instruct-GGUFを動かしてみる【text-generation-webui】
【ローカルAI】GUIでCodeLlama-34B-Instruct-GGUFを動かしてみる【text-generation-webui】 概要 ローカルLLMで最近話題の「CodeLlama-34B-Instruct-GGUF」をtext-generation-webuiから動かし、「ローカルLLMでもファインチューニングなしでプロンプト指示できる」感覚を体験してみる。 メイン読者ターゲット ご家庭にGPUがある人（CPUでも良いが遅い） 最適化だったり正しい理解ができてるかは別として、とりあえず動かしたい人 導入から書くので、推論スピードだけ確認したい人は下まですっ飛ばしてください。 導入 text-generation-webuiの導入 以下からclone 自分はpyenv+venv派なので python -m venv .venv でactivate。 あとは基本的にinstall
DPO による Llama 2 のファインチューニング｜npaka
以下の記事が面白かったので、かるくまとめました。 ・Fine-tune Llama 2 with DPO 1. はじめに「RLHF」は「GPT-4」「Claude」などのLLMの事実上の最後の学習ステップとなっており、LLM出力の饒舌さや安全さが人間の期待と一致していることを確認します。ただし、RLの複雑さが持ち込まれます。適切な報酬関数を設定し、状態を推定するようにモデルを学習する必要があります。同時に、元のモデルから離れすぎないよう注意する必要があります。このようなプロセスは非常に複雑で、正しく行うのは容易ではありません。 Rafailov、Sharma、Mitchellらによる最近の論文「Direct Preference Optimization」では、既存の手法で使用されているRLベースの目標を、単純なバイナリクロスエントロピー損失を介して直接最適化できる目標に切り替えることを提
llama2のファインチューニング(QLORA)のメモ｜Kan Hatakeyama
2023/11/13追記以下の記事は､Llama2が公開されて数日後に書いた内容です｡ 公開から数ヶ月経った23年11月時点では､諸々の洗練された方法が出てきていますので､そちらも参照されることをおすすめします｡ (以下､元記事です) 話題のLamma2をファインチューニングします｡ QLoRAライブラリを使うパターンと､公式推奨の2つを試しました｡前者が個人的にはオススメです｡ 前提Hugging faceで配布されている公式のモデルが必要です｡以下を参考に､ダウンロードしておきます｡ データセット作成 (7/20 15:20追記 設定ミスってたので修正しました) test.jsonを適当に作ります｡ [ { "input": "", "output": "### Human: 富士山といえば?### Assistant: なすび" }, { "input": "", "output":
ゼロからはじめるPython 第106回 プログラム生成AIのCodeLlamaを手元のPCでも動かしてみよう：マピオンニュース
Mapion > ニュース > ネタ・コラム > ゼロからはじめるPython 第106回 プログラム生成AIのCodeLlamaを手元のPCでも動かしてみよう ChatGPTを筆頭にした「大規模言語モデル(LLM)」と呼ばれるAIが話題に上らない日はない。このAIが得意なタスクには「プログラムの自動生成」が挙げられるが、Metaからプログラム生成に特化したCodeLlamaが商用利用可能なオープンなライセンスでリリースされた。そこで実際に使ってみよう。 ○プログラミングは大規模言語モデルが得意とするタスク リリースからわずか2ヶ月で1億ユーザーを達成した「ChatGPT」の公開から本稿執筆時点で8ヶ月が過ぎた。筆者も業務でChatGPTをはじめ、Github Copilotなど、大規模言語モデル(LLM)関連サービスを使わない日はないくらいだ。 特に「プログラミング」は、間違いなく大規模
Introducing Code Llama, a state-of-the-art large language model for coding
Today, we are releasing Code Llama, a large language model (LLM) that can use text prompts to generate code. Code Llama is state-of-the-art for publicly available LLMs on code tasks, and has the potential to make workflows faster and more efficient for current developers and lower the barrier to entry for people who are learning to code. Code Llama has the potential to be used as a productivity an
ローカルでも動く！？日本語に特化した強化学習済み対話GPT言語モデルを検証してみる - Qiita
はじめに 元AI女子高生「りんな」をご存知でしょうか LINEに突如現れたAI女子高生で話題となっていたと思いますので、ご存知の方も多いかとおもいます。 先日「りんな」の開発元であるrinna社から日本語特化の学習がされたGPT-2モデルが 商用利用可能なMITライセンス で公開されました。 rinna、人間の評価を利用したGPT言語モデルの強化学習に成功 本モデルは、 ChatGPTに用いられている学習手法である、人間の評価を利用したGPT言語モデルの強化学習に成功している とのことです。 かつ ローカル環境でも動作する ようです。 本記事では、その対話GPT言語モデルの動作を見てみようと思う 目次 動作環境 モデル動作確認（GoogleColab） ローカル環境で実行 さいごに 動作環境 検証環境 google colaboratory（Colab Pro版） ローカル検証環境 Win
ChatGPTに匹敵する性能の日本語対応チャットAI「Vicuna-13B」のデータが公開され一般家庭のPC上で動作可能に
Vicuna-13BはChatGPTの90％の性能を持つと評価されているチャットAIで、オープンソースなので誰でも利用できるのが特徴です。2023年4月3日にモデルのウェイトが公開され、誰でも手元のPCでチャットAIを動作させることが可能になったとのことで、早速使い勝手を試してみました。 GitHub - lm-sys/FastChat: The release repo for "Vicuna: An Open Chatbot Impressing GPT-4" https://github.com/lm-sys/FastChat/#vicuna-weights 2023年3月30日にはオンラインで動作を試せるデモ版が公開されていました。デモ版の様子は下記の記事で確認できます。 ChatGPTやGoogleのBardに匹敵する精度の日本語対応チャットAI「Vicuna-13B」が公開され
東大が無料公開している超良質なPython/Data Science/Cloud教材まとめ (*随時更新) - Digital, digital and digital
東京大学がちょっとびっくりするくらいの超良質な教材を無料公開していたので、まとめました Python入門講座 東大のPython入門が無料公開されています。scikit-learnといった機械学習関連についても説明されています。ホントいいです Pythonプログラミング入門 東京大学 数理・情報教育研究センター: utokyo-ipp.github.io 東大のPython本も非常にオススメです Pythonによるプログラミング入門 東京大学教養学部テキスト: アルゴリズムと情報科学の基礎を学ぶ https://amzn.to/2oSw4ws Pythonプログラミング入門 - 東京大学 数理・情報教育研究センター Google Colabで学習出来るようになっています。練習問題も豊富です https://colab.research.google.com/github/utokyo-ip
スマートメーターの情報を最安ハードウェアで引っこ抜く - Qiita
はじめに 電力自由化にともない、スマートメーターの設置が進められています。 電力会社が設置したスマートメーターと、各社から販売されているHEMS見える化端末的なモノを導入すると消費電力などをリアルタイムに見ることができるようになります。 しかし！、HEMS見える化端末的なモノは住宅リフォーム業界的なプライス設定ですんごくお高いんです。 そこで、HEMS見える化端末的なモノを安価に自作しちゃおうというのがこの記事の趣旨です。 おことわり 東京電力供給区域での話を前提としていますが、他社供給区域にお住まいの場合は電力会社名を読み替えてください m(_ _)m なお、通信の物理レイヤは各社で決められるのですが、フタを開けてみたら全国Wi-SUN(後述)で統一されてました。購入すべきハードウェアは全国どこでも変わりません。 ハードウェア スマートメーターを設置してもらう 今となっては特別な事情が無
Raspberry Piで人工無能レモンちゃんbot開発 - karaage. [からあげ]
人工無能レモンちゃんbot作り方 最近botが流行りみたいですね。なんでもエンジニアの彼氏までbotで作れちゃうみたいです（登録してみました）。ちなみに下記のブログの人「からあげ」という名前ですが私とは別人です。 ただ、LINEのbotはサーバが必要でめんどうそうなのと、個人的にLINEはそれほど使わないので twitter だったりリアルにしゃべるbotがいると嬉しそうです。ということで、Raspberry Piでそんなbotを作ってみることにしました。それっぽい言葉を自動生成して、ツイートしたり実際に喋ったりします。使用する技術は以下です。ほとんど以前にやったことの組み合わせなので楽チンチンです。 マルコフ連鎖を用いた文章生成 pythonでツイート aquestalkpiでの音声合成 レモンちゃんbotデモ twitter、音声合成共にマジキチ感が出ていてよいですね。 twitter
![Raspberry Piで人工無能レモンちゃんbot開発 - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/9dcf59281db89e3b2def69bfbb16cf2fa7ad18e0/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20160423%2F20160423171621.jpg)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - oobabooga/text-generation-webui: A Gradio web UI for Large Language Models.