同梱のapi_like_OAI.pyを一緒に実行するとOpenAI互換サーバとして動作するので便利だぞ

endo_5501 のブックマーク 2023/08/11 21:18

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4740615449540826415/comment/endo_5501" data-user-id="endo_5501" data-entry-url="https://b.hatena.ne.jp/entry/s/note.com/npaka/n/nb97e9a0d8993" data-original-href="https://note.com/npaka/n/nb97e9a0d8993" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fnote.com%2Fnpaka%2Fn%2Fnb97e9a0d8993" data-user-icon="/users/endo_5501/profile.png">Llama.cpp の HTTPサーバー機能を試す｜npaka</a><ul class="comment-tag" style="list-style: none; margin: 0px;"><li style="float: left">[<a href="https://b.hatena.ne.jp/q/ai">ai</a>]</li></ul><br><p style="clear: left">同梱のapi_like_OAI.pyを一緒に実行するとOpenAI互換サーバとして動作するので便利だぞ</p><a class="datetime" href="https://b.hatena.ne.jp/endo_5501/20230811#bookmark-4740615449540826415"><span class="datetime-body">2023/08/11 21:18</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

Llama.cpp の HTTPサーバー機能を試す｜npaka

note.com/npaka2023/08/11

「Llama.cpp」のHTTPサーバー機能を試したのでまとめました。・Mac M1 1. モデルの準備今回は、「vicuna-7b-v1.5.ggmlv3.q4_K_M.bin」を使います。・TheBloke/vicuna-7B-v1.5-GGML ・TheBloke/vicuna-7B-v1.5-1...

18 人がブックマーク・2 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

Llama.cpp の HTTPサーバー機能を試す｜npaka

はてなブックマーク

公式Twitter

はてなのサービス