ローカルこんな簡単に動くんだなぁ。すごい。

hate_nao のブックマーク 2023/08/14 11:48

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4740615449540826415/comment/hate_nao" data-user-id="hate_nao" data-entry-url="https://b.hatena.ne.jp/entry/s/note.com/npaka/n/nb97e9a0d8993" data-original-href="https://note.com/npaka/n/nb97e9a0d8993" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fnote.com%2Fnpaka%2Fn%2Fnb97e9a0d8993" data-user-icon="/users/hate_nao/profile.png">Llama.cpp の HTTPサーバー機能を試す｜npaka</a><br><p style="clear: left">ローカルこんな簡単に動くんだなぁ。すごい。</p><a class="datetime" href="https://b.hatena.ne.jp/hate_nao/20230814#bookmark-4740615449540826415"><span class="datetime-body">2023/08/14 11:48</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

Llama.cpp の HTTPサーバー機能を試す｜npaka

note.com/npaka2023/08/11

「Llama.cpp」のHTTPサーバー機能を試したのでまとめました。・Mac M1 1. モデルの準備今回は、「vicuna-7b-v1.5.ggmlv3.q4_K_M.bin」を使います。・TheBloke/vicuna-7B-v1.5-GGML ・TheBloke/vicuna-7B-v1.5-1...

18 人がブックマーク・2 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

Llama.cpp の HTTPサーバー機能を試す｜npaka

はてなブックマーク

公式Twitter

はてなのサービス