エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント1件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
【ローカルLLM】ExLlamaでtext-generation-webuiによるテキスト生成を高速化する|Baku
数日前、RedditのローカルLLMスレに以下の投稿が上がっていた。Llamaベースの大規模言語モデルの推論が... 数日前、RedditのローカルLLMスレに以下の投稿が上がっていた。Llamaベースの大規模言語モデルの推論が早くなる「ExLlama」というローダーが、text-generation-webuiでサポートされたとのこと。 *text-generation-webuiは、ローカルで大規模言語モデルを実行するためのWebUIのひとつ。 ExLlamaとはRedditのレスによれば、ローカルLLMは大半の個人ユーザーにとってデカすぎるゆえ、最近は量子化により軽量化したモデルを使うのが一般的になっている。 有名なのは「llama.cpp」の量子化モデル(GGML)で、これはもともとMacbookやスマートフォンでのLLM実行を目指すプロジェクトであって、CPUでも動かすことを念頭において開発されている。 generation-webuiでも「llama.cpp」は使えるが、これとは別に「GPTQ
2023/07/26 リンク