インストールの設定ファイルをいじれば12GBでもLlama 2 13B使えるらしい https://www.reddit.com/r/LocalLLaMA/comments/1aqb2l0/llama_2_13b_working_on_rtx3060_12gb_with_nvidia/

idainahikikomori153 のブックマーク 2024/02/26 19:23

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4749819394583215712/comment/idainahikikomori153" data-user-id="idainahikikomori153" data-entry-url="https://b.hatena.ne.jp/entry/s/internet.watch.impress.co.jp/docs/column/shimizu/1569783.html" data-original-href="https://internet.watch.impress.co.jp/docs/column/shimizu/1569783.html" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Finternet.watch.impress.co.jp%2Fdocs%2Fcolumn%2Fshimizu%2F1569783.html" data-user-icon="/users/idainahikikomori153/profile.png">NVIDIA「Chat With RTX」を、RTX4060搭載ノートPCで動かす〜ローカルLLMでRAGを実現【イニシャルB】</a><br><p style="clear: left">インストールの設定ファイルをいじれば12GBでもLlama 2 13B使えるらしい <a href="https://www.reddit.com/r/LocalLLaMA/comments/1aqb2l0/llama_2_13b_working_on_rtx3060_12gb_with_nvidia/" target="_blank" rel="noopener nofollow">https://www.reddit.com/r/LocalLLaMA/comments/1aqb2l0/llama_2_13b_working_on_rtx3060_12gb_with_nvidia/</a></p><a class="datetime" href="https://b.hatena.ne.jp/idainahikikomori153/20240226#bookmark-4749819394583215712"><span class="datetime-body">2024/02/26 19:23</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

NVIDIA「Chat With RTX」を、RTX4060搭載ノートPCで動かす〜ローカルLLMでRAGを実現【イニシャルB】

internet.watch.impress.co.jp2024/02/26

38 人がブックマーク・2 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

NVIDIA「Chat With RTX」を、RTX4060搭載ノートPCで動かす〜ローカルLLMでRAGを実現【イニシャルB】

はてなブックマーク

公式Twitter

はてなのサービス