こんにちは、Saldraです。普段はPictoriaという会社でAIの美少女の錬成に励んでいるエンジニアです。この記事はローカルLLMの概要をつかむことを目的とします。対象読者は以下です。 なんとなく ChatGPT は使ったことある人 ローカル LLM を聞いたことあるけどやったことない人 ローカル LLM とは OpenAIがAPIを公開してから、大規模言語モデル（以降LLMとします）は大きく進化していきました。この進化はOpenAIのAPIだけでなく、ローカルLLMも進化をしています。 ローカルLLMとは「一般向けにファイルとして公開されたモデル」で推論させる遊びです。APIは便利ですが、インターネットの接続が必要であったり、API提供側に依存する問題があります。ローカルLLMは自前で運用ができるため、APIにはないメリットや魅力があります。一方で、環境構築やマシンスペック等、少し始
MacでLocal LLM そこそこRAMの大きなMacbook proが手に入ったので、ローカルでのLLM実行を試すことにした。 しかし、MacのGPUを有効化させることのできるローカル環境を整えるまでに、思いのほか苦労したので、メモとして記しておく。 とりあえず、以下の3つの選択肢を試した。 open interpreter text-generation-webui LM Studio で、結局のところ現状まともに動作してくれたのは、LM Studioだけだったのだが、それぞれの所感について示しておく。 1: open interpreter open interpreterそのもの説明については、Qiitaにもいくらでも記事があるのでここでは省略する。 例えば以下の記事など。 https://qiita.com/ot12/items/d2672144b914cb6f252f htt
ローカルでLLMの推論を実行するのにOllamaがかわいい
ローカルでLLMを動かそうとなったら transformers ライブラリ、llama.cpp、text generation webuiなどいくつかの選択肢があると思いますが、どれもめちゃくちゃハードルが高いというほどではないですが、動かすまでの手続が若干いかつい印象があります。 そんな中で Ollama というツールを試してみたところインターフェイスがシンプル、ついでにキャラクターのラマが可愛いのでご紹介していこうと思います。 ちなみにですが、日本語での言及はあまり見かけなかったですが、LangChain が出してるレポートでは OSS モデルを動かすのに使われているものとしては3番目に多く使われており、 出典: LangChain State of AI 2023 GitHub のスター数も現在約33700とかなり人気を集めていそうです。 Ollama で CLI から推論 では早速
※つくよみちゃんイラスト素材：花兎*さん 概要（忙しい人向け） 手軽にローカル LLM (音声・立ち絵付き) と会話できるソフトウェア ez-chat-llm を開発しました。動作の様子は動画 (https://www.nicovideo.jp/watch/sm43196446) からご覧いただけます。 ez-chat-llm は、GitHub のリポジトリ (https://github.com/offtoung/ez-chat-llm) から利用できます。また、Google Colab Pro をお使いの方は、ノートブックから簡単に試せます。 副産物として、Pythonから簡単に利用できる音声合成ライブラリ eztts ができました。なんと、このために音声合成モデルをフルスクラッチで学習するという手の込みようです。 上記の GitHubリポジトリをクローンしたディレクトリに入り、次のよ
まとめ LLMのファインチューニングにおいて、データセットは重要なものとなりつつある 以前までは人力で作る必要があったが、プロンプトが効く7Bモデル（Calm2-chat）を用いることで、LLMでファインチューニング用データセットを作ることができる データセットを作成しつつ、動的にプロンプトを修正していく手法が相当よかった 導入 LLMのファインチューニングには、大量のデータセットが必要です。良く言われているのは「少なくとも数百～数千はあった方が良い」というものです。翻訳など、皆が使うであろうようなタスクのデータセットは存在する一方で、「女の子の日記をLLMで作りたい」のような、完全に自分の癖に従ったようなデータセットは基本的には存在しません。一から自分で作っても良いのですが、人間の時間とやる気は有限なため、かなり無謀な挑戦と言えるでしょう。 この作業にLLMを用いることで、労力を最小限ま
なんJLLM部 避難所
0001名無しさん＠ピンキー 転載ダメ (ﾜｯﾁｮｲ e249-iArR)2023/12/17(日) 21:48:59.66ID:???0 !extend::vvvvv:1000:512 !extend::vvvvv:1000:512 AIに色々なことをしゃべってもらうんやで そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで 自薦・他薦のモデルやツールは>>2以降 本スレ なんJLLM部 ★6 https://fate.5ch.net/test/read.cgi/liveuranus/1701542705/ VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured 0002名無しさん＠ピンキー (ﾜｯﾁｮｲ e249-iArR)2023/12/17(日) 21:50:26.11ID:???0 初心
karakuri-lm-70b-chatをOpenAI互換のローカルサーバとして動かしてみた - Qiita
はじめに karakuri-lm-70b-chatの4bit量子版ggufをローカルPCで動かしてみた時のメモです。 json format出力が出来たり、少し複雑なsystem promptも効いてくれて良いです。 KARAKURI LM 70B Chat v0.1 とは Llama 2 70Bベースの継続事前学習＆finetuneモデルで、現時点(2024/2/2)でMT-Bench-jpベンチマークにおいて日本語のオープンモデルの中で最高性能モデル。 デモサイトも用意されていて、簡単にお試しすることもできます。 KARAKURI LM を試す。すごい優秀。json fromat出力指定が通る。複雑めなsystem promptもしっかり効く。 (json formatしっかり返せるようになるとagent動かせるようになるですよ。とはいえ70bはうちのPCでは動かないけど...ｼｸｼｸ
「Google Colab」で「Text Generation WebUI」を試したので、まとめました。 1. Text Generation WebUI「Text Generation WebUI」は、LLM用のGradio WebUIです。テキスト生成における「Stable Diffusion WebUI」になることを目標に開発されました。 主な特徴は、次のとおりです。 ・3つのインターフェイスモード ・default ・notebook ・chat ・モデルの切り替え ・モデルバックエンドの切り替え ・Transformers ・llama.cpp (llama-cpp-python経由) ・ExLlama ・ExLlamaV2 ・AutoGPTQ ・AutoAWQ ・GPTQ-for-LLaMa ・CTransformers ・QuIP# ・チャットテンプレートの切り替え ・Lla
Text-generation-webuiを試してみた&LLMモデルの探し方(我流)｜shiba*2
Text-generation-webuiに関連した導入話上のサイトがText-generation-webuiのgithubサイトです。 今回の記事はChat with RTXを触ってみて調べてみたら面白そうだったけど、とっつきにくいところもあるなといった内容です。 Text-generation-webuiのサイトを見ると2023年3月頃からあり、そこそこ前からあります、インストール方法など調べるとそのころの記事が出てくると思います。現在も頻繁に更新されているので機能自体は追加されて行っているもののようです。 今回は、ローカルでの運用ですが、youtubeでやっている内容が達成できればと思っています。 今回の記事は毛色を変えるためにStablediffusionなどの画像生成AIの用語とかに例えられる範囲で表現出来ればと思っています(主観目線)。 下のサイトはとても勉強になるサイトで、
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【令和最新版】何もわからない人向けのローカル LLM 入門
MacでLocalでLLMを走らせるならLM Studioが楽。 - Qiita
ローカル環境で音声・立ち絵付きのAIと会話できるソフトウェア ez-chat-llm を作りました。
自分の癖にあったファインチューニング用データセットをLLMで作ろう！【Calm2】
Google Colab で Text Generation WebUI を試す｜npaka