ローカルLLM マルチGPUの生成速度への影響を評価する - 技術メモ集

テクノロジーカテゴリーの変更を依頼記事元:

www.robotech-note.com

1user がブックマークコメント

記事へのコメント0件

注目コメント
新着コメント

新着コメントはまだありません。
このエントリーにコメントしてみましょう。

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

<iframe marginwidth="0" marginheight="0" src="https://b.hatena.ne.jp/entry.parts?url=https%3A%2F%2Fwww.robotech-note.com%2Fentry%2F2025%2F03%2F03%2F%25E3%2583%25AD%25E3%2583%25BC%25E3%2582%25AB%25E3%2583%25ABLLM%25E3%2581%25A7GPU%25E3%2581%25AE%25E6%2595%25B0%25E3%2582%2592%25E5%25A2%2597%25E3%2582%2584%25E3%2581%2599%25E3%2581%2593%25E3%2581%25A8%25E3%2581%25AB%25E3%2582%2588%25E3%2582%258B%25E9%2580%259F%25E5%25BA%25A6%25E3%2581%25B8%25E3%2581%25AE%25E5%25BD%25B1" scrolling="no" frameborder="0" height="230" width="500"><div class="hatena-bookmark-detail-info"><a href="https://www.robotech-note.com/entry/2025/03/03/%E3%83%AD%E3%83%BC%E3%82%AB%E3%83%ABLLM%E3%81%A7GPU%E3%81%AE%E6%95%B0%E3%82%92%E5%A2%97%E3%82%84%E3%81%99%E3%81%93%E3%81%A8%E3%81%AB%E3%82%88%E3%82%8B%E9%80%9F%E5%BA%A6%E3%81%B8%E3%81%AE%E5%BD%B1">ローカルLLM マルチGPUの生成速度への影響を評価する - 技術メモ集</a><a href="https://b.hatena.ne.jp/entry/s/www.robotech-note.com/entry/2025/03/03/%E3%83%AD%E3%83%BC%E3%82%AB%E3%83%ABLLM%E3%81%A7GPU%E3%81%AE%E6%95%B0%E3%82%92%E5%A2%97%E3%82%84%E3%81%99%E3%81%93%E3%81%A8%E3%81%AB%E3%82%88%E3%82%8B%E9%80%9F%E5%BA%A6%E3%81%B8%E3%81%AE%E5%BD%B1">はてなブックマーク - ローカルLLM マルチGPUの生成速度への影響を評価する - 技術メモ集</a></div></iframe>

プレビュー

規約違反を報告

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

ローカルLLM マルチGPUの生成速度への影響を評価する - 技術メモ集

概要以下の記事にて、GPU2枚で40GBのVRAMを搭載したPCを構築しましたが、GPU1枚から2枚に分散すること... 概要以下の記事にて、GPU2枚で40GBのVRAMを搭載したPCを構築しましたが、GPU1枚から2枚に分散することによってどれほど速度が落ちるのかを評価してみました。結論としては許容範囲内の速度低下だったので一安心。詳細は下をご確認ください。モデル一つでの評価なので厳密性を求めると微妙ですが、ある程度の傾向はつかめるかなーと。調べたら、もっと詳しい人がより厳密に評価しているとは思いますが、性能の異なるGPUでやった時にどうなるか、あまり情報がなかったんですよね。 www.robotech-note.com 実験の前提モデルサイズの大小による性能比較前提の構成として、私のPCはGPU0がRTX3090（VRAM24GB）-16レーンのPCIeに接続、GPU1がRTX4070tis-4レーンのPCIeに接続で、それぞれFP32の演算性能は35.58 TFLOPSと40.09 TFLOP