エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
【ローカルLLM】Gradioとllama-cpp-pythonで日本語チャットボットを作る|Baku
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
【ローカルLLM】Gradioとllama-cpp-pythonで日本語チャットボットを作る|Baku
先日の記事に続き、ウェブUI用のPythonライブラリ「gradio」を使って、簡単なチャットボットを作ってみ... 先日の記事に続き、ウェブUI用のPythonライブラリ「gradio」を使って、簡単なチャットボットを作ってみた記録。 今回はLlama系の言語モデルを使いたいので、モデルとgradioUIをつなぐPythonバインディングに「llama-cpp-python」を使用。これにより軽量な量子化モデル(GGUF)を扱える。 ひな形を探すHugging Face Spaces用のウェブUIサンプルを公開しているRepoがあり、ここにgradio+llama-cpp-pythonの例もあると教えてもらった。 ここでは、モデルに「Llama-2-7B-Chat-GGML」を使っている。 このサンプルを少し加工して使えばいいな、と思ったが、日本語で使おうとするとちょっと問題あり。 llama-cpp-pythonで漢字が欠落どうやら、llama-cpp-pythonでは出力時に漢字が部分的に欠ける問題