TL;DR Llama.cppでCode Llamaが使えるようになったので、VS Codeから使ってみる。copilot的なやつ。 前提 llama.cppはLAN内のサーバで動かす 理由 VSCodeを動かすマシンがやや非力なので、同じマシン内でLLMを動かしたくない GPUオフロードして高速に生成させたい サーバ側スペック CPU: Intel Core i9-13900F メモリ: 96GB GPU: NVIDIA GeForce RTX 4090 24GB モデルはcodellama-34b-instruct.Q4_K_M.ggufを使う cuBLASでGPUオフロード VS Codeは"Continue"プラグインを使う 設定変更でllama.cppを使える
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く