自宅PCでクラスターを構築：コンシューマーGPUの枠を超え、大型LLMをローカルで動かす！｜AIサトシ
最近オープンになる大規模言語モデル（LLM）が、軒並みGPT-4レベルの性能となっています Huggngfaceで無料でダウンロードできるのですが、問題は必要VRAM容量です 話題の、Command-r-Plusは、日本語性能について評価が高く、一部の性能はGPT-4並みと言われますが、さすがに大型で104Bパラメータもあるため、4bitに量子化しても60GB程度のVRAMが必要となります。 コンシューマークラスのGPUの最高峰、RTX4090は、VRAM24GBのため、command-r-plusをすべてGPUに載せて推論しようと考えると、3台のマルチGPUデスクトップが必要です しかし、RTX4090は450W消費のGPUのため冷却機構が大きく、1デスクトップに3台収めるのは至難の業となります。 先日、水冷ラジエーター付きRTX4090で、マルチGPUデスクトップを作成しました。 水冷
VSCodeでキーボードマクロを使いたい - Qiita
キーボードマクロ キーボードマクロは同じ操作を繰り返し実行させることができる便利な機能です。 テキスト加工などの作業で使いこなすと作業効率が劇的に向上します。 VSCodeとキーボードマクロ VSCodeにはデフォルトでキーボードマクロ機能が存在しないため拡張機能を利用します。 インストール VisualStudioマーケットプレイスから こちらのリンクから Install をクリックしてインストールします。 https://marketplace.visualstudio.com/items?itemName=tshino.kb-macro VSCodeの拡張機能から 「keyboard」などのキーワードで検索して「Keyboard Macro Beta」をインストールしても良いです。 使い方 記録 (Record) 操作を記録開始・終了する際に次のショートカットキーを使います。 mac
パフォーマンスオーバーレイ（ALT+R）を無効化する方法 | ナポリタン寿司のPC日記
この記事では、ALT+Rのショートカットキーを押した時に表示される「GeForce Experience（ジーフォース・エクスペリエンス）」の「パフォーマンスオーバーレイ」を無効化する方法を書きます。 機能を無効にするか、ショートカットキーを変更することで解決します。 僕がWindows11で作業している時、ふっと右上に「パフォーマンスオーバーレイ（Alt+R）」という画面が表示されました。うっすら半透明で、画面の上に表示されている状態です。GPUやFPSなどを簡易的に確認できました。 「なんだこれ？」と思って調べると、どうやら「GeForce Experience」アプリの「パフォーマンスオーバーレイ」のショートカットキーが、ALT+Rになっていて、うっかり押したようです。 「GeForce Experience」アプリは、ゲーム内録画やフィルターをかけるのに重宝していますが、今回のパフ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
