"ローカルLLM: 量子化したモデルでも賢いのを使おうとすると平気で何十ギガも食ってくる / Tesla P40: VRAM24GB + ebayやアリエクでは 2〜3マソで買える（中古） / 多分、データセンターの世代交代による引退品が大量に流れ"

sh19910711 のブックマーク 2024/04/27 16:03

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4752665639299543648/comment/sh19910711" data-user-id="sh19910711" data-entry-url="https://b.hatena.ne.jp/entry/s/yukimakura.github.io/blog/TH3P4G3(85W%E7%89%88)%E3%81%A8TeslaP40%E3%82%92Ubuntu22.04%E3%81%A7%E3%82%BB%E3%83%83%E3%83%88%E3%82%A2%E3%83%83%E3%83%97%E3%81%97%E3%81%9F/" data-original-href="https://yukimakura.github.io/blog/TH3P4G3(85W%E7%89%88)%E3%81%A8TeslaP40%E3%82%92Ubuntu22.04%E3%81%A7%E3%82%BB%E3%83%83%E3%83%88%E3%82%A2%E3%83%83%E3%83%97%E3%81%97%E3%81%9F/" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fyukimakura.github.io%2Fblog%2FTH3P4G3(85W%25E7%2589%2588)%25E3%2581%25A8TeslaP40%25E3%2582%2592Ubuntu22.04%25E3%2581%25A7%25E3%2582%25BB%25E3%2583%2583%25E3%2583%2588%25E3%2582%25A2%25E3%2583%2583%25E3%2583%2597%25E3%2581%2597%25E3%2581%259F%2F" data-user-icon="/users/sh19910711/profile.png">TH3P4G3(85W版)とTeslaP40をUbuntu22.04でセットアップした【外付けGPU】</a><ul class="comment-tag" style="list-style: none; margin: 0px;"><li style="float: left">[<a href="https://b.hatena.ne.jp/q/%2Atech">*tech</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/gpu">gpu</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/%2Asoftware">*software</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/linux">linux</a>]</li></ul><br><p style="clear: left">&quot;ローカルLLM: 量子化したモデルでも賢いのを使おうとすると平気で何十ギガも食ってくる / Tesla P40: VRAM24GB + ebayやアリエクでは 2〜3マソで買える（中古） / 多分、データセンターの世代交代による引退品が大量に流れ&quot;</p><a class="datetime" href="https://b.hatena.ne.jp/sh19910711/20240427#bookmark-4752665639299543648"><span class="datetime-body">2024/04/27 16:03</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！