エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Llama.cppのOpenAI互換モードを使って、OpenAIから少ない手間でローカルLLMに乗り換える|松note
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Llama.cppのOpenAI互換モードを使って、OpenAIから少ない手間でローカルLLMに乗り換える|松note
ご家庭のパソコンで簡易ChatGPTみたいなものが動かせるローカルLLMと呼ばれるものがあります。金融など... ご家庭のパソコンで簡易ChatGPTみたいなものが動かせるローカルLLMと呼ばれるものがあります。金融などハイレベルな機密情報を扱う企業などはクラウドに情報を簡単に出せないため、クローズドな環境でChatGPTみたいなことをしたいというニーズに応える活用例も考えられています。単純にホビーとして動かすのも楽しいです。 そんなローカルLLMを動かすために、開発が進んでいるのがLlama.cppです。GPUがなくても、CPUだけでも動かすことができ、Raspberry Pi 4のような小さなコンピューターでも動きます(遅いですが)。 そんなLlama.cppですが、サーバーとして動かすことができます。ローカルホストで起動させ、httpリクエストを投げる形で使えるので、様々なプログラムと連携させることが可能です。 Llama.cppをサーバーとして立ち上げるサーバーとして起動する方法は、Llama