GeForce RTX 5090より10倍高性能なGPU「Zeus」が登場、VRAMを1カード当たり384GBまで増設可能でパストレーシングやHPCに特化
半導体開発企業のBolt GraphicsがGPU「Zeus」を2025年3月6日に発表しました。ZeusはGeForce RTX 5090と比べて10倍のパストレーシング性能を備えているほか、VRAMを1カード当たり384GB、2Uラック当たり180TBまで増設可能です。 Bolt Graphics Announces Zeus: Groundbreaking GPU for High Performance Workloads https://www.prnewswire.com/news-releases/bolt-graphics-announces-zeus-groundbreaking-gpu-for-high-performance-workloads-302394495.html We're delighted to finally share the work we've
自作PCにGPUを2枚挿して13BのLLMを動かす話 | cloud.config Tech Blog
この記事は FIXER Advent Calendar 2023 - Adventar 23日目の記事です。 はじめにこんにちは、毛利です。この記事では趣味用の自作PCにGPUを2枚挿してサイズが13BのLLMを動かす話をします。 LLMのパラメータ数と推論に必要なメモリ量についてまず初めに、LLMのパラメータ数に対して、推論に使う場合にどれぐらいのメモリが必要なのかを話します。ここで言うパラメータ数は7B(70億)、13B(130億)、70B(700億)といったものです。 精度によっても変わってくるのですが、配布されるモデルの精度としてはbfloat16であることが多いです。この場合は、1パラメータあたり2byteになるので、～Bの部分を2倍したGBが要求されると考えればよいです。例えば、7BのLLMであれば14GB、13BのLLMであれば26GBなどとなります。逆に4bit量子化等が行
大規模言語モデル(LLM)を爆速で動作させる「言語処理ユニット(LPU)」を開発する「Groq」が爆速アルファデモを公開
大規模言語モデル(LLM)などを実行するために設計されたカスタムハードウェアである言語処理ユニット(LPU)を開発するGroqが、既存のLLMを爆速で動作させることができるアルファ版デモンストレーションを公開しました。 A company called Groq may have pushed AI chips to the next level https://www.androidheadlines.com/2024/02/openai-groq-ai.html Forget ChatGPT — Groq is the new AI platform to beat with blistering computation speed | Tom's Guide https://www.tomsguide.com/ai/forget-chatgpt-groq-is-the-new-ai-
Text generation web UI で Xwin-LM-13B-V0.1-GPTQ を試す。｜saip(さいぴ)
この Xwin-LM-13B-V0.1 モデル、13B（130億パラメーター）でありながらAlpacaEval ベンチマークにおいてなんとGPT-4に僅差で勝利している。対ChatGPT戦に至っては圧勝である。 しかもこのモデル、GPTQで量子化したTheBloke/Xwin-LM-13B-V0.1-GPTQ であれば7.26 GBである。 ついに家庭用ゲーミングPCでGPT-4が動く時代が来たのだ。 今を未来と呼ばずしてなんと呼ぶ。 というわけで、ローカルの Text generation web UI で Xwin-LM-13B をロードして色々推論して遊んでみます。 2. WebUI での実行今回はmainブランチのモデルを使用しています。 4ビット、アクトオーダー、グループサイズ128g。 VRAM使用量は64Gよりさらに少ないが、精度は若干落ちる。 Model タブの Downl
AWS・Azure・Cudoなどが提供するクラウドGPUが1時間あたり何ドルで利用できてどういう構成なのかの一覧表
ニューラルネットワークのトレーニングや実行にはGPUが使われることが多く、クラウドサービスのGPUの需要はAIの普及に伴い高まりつつあります。そんなクラウドGPUの構成や価格を、AI関連のニュース＆コミュニティサイト・The Full Stackが公開しました。 Cloud GPUs - The Full Stack https://fullstackdeeplearning.com/cloud-gpus/ 表はクラウドサーバーとサーバーレスの2種類に分かれています。ピックアップされたサービスはAmazon Web Service(AWS)やMicrosoft Azure、Cudo Compute、Google Cloud Platform(GCP)、AWS Lambdaなど。Hugging Faceなど一部サービスの記載はありません。 クラウドサーバーの表がこんな感じ。最左列にサービス名
Windows11のWSL上でGPUを使おう！(2021/10時点) - Qiita
1.本記事の目的 Windows11ではWSL上でGPUが使用できるようになりました。(WSLg：Windows Subsystem for Linux GUI、と呼ばれています）WSL側でGPUが使用できるようになったことで、GUIプログラムや機械学習のプログラムをWSL上で動作させることができるようになります。 さっそく、Window11上で環境を構築していきましょう！ 2.使用する環境の前提 Windows 11がインストールしてあること NVIDIAのグラフィックボードが搭載されていること もし、Windows11への更新がまだの場合は手動のインストール(参考：)ができますので、そちらをためしてみましょう。残念ながらWindows10秋の更新(21H2)には、グラフィック機能はサポートされない様子ですので、Windows11にアップデートを行ってください。 グラフィックスの機能は当
CPUとGPUのマルチスレッディングの違いについて - arutema47's blog
"Locality is efficiency, Efficiency is power, Power is performance, Performance is King", Bill Dally マルチスレッディングとは？ CPUとGPUのマルチスレッディングの違いをブログにまとめていたけど例によって誰も興味なさそう— arutema47 (@arutema47) 2021年8月16日 つぶやいたら読みたい方が多そうだったので完成させました。 マルチスレッディングとはメモリ遅延を隠蔽しスループットを上げるハードウェアのテクニックです。 ただCPUとGPUで使われ方がかなり異なるため、その違いについて考えてみる記事です。 （SIMDについて並列プログラミングの観点から触れるべきでしたが、時間無いマルチスレッディングに注目するため初版では省きました。） 本記事について 本記事はCPUとG
8つのFull HD映像をフレーム同期してプロジェクター出力する - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 8つのFull HD映像をフレーム同期してプロジェクター出力する 本稿はとある展示システムを制作するにあたり、「8つのFull HD映像をフレーム同期してプロジェクター投影する」という必要があり、結果、入手性のある機材で実現するソリューションが確立できたので、記載しておきます。 フレーム同期してプロジェクター投影する 本システムでは、複数投影映像を合成して1つの映像を生成するため、その複数投影映像が完全に同期して投影される必要がある。本件のシステムでは（最低4つ）8つのFull HD (1920 x x1080 60p) 映像を同期する
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い Amazing, every word of what you just said was wrong. December 20, 2017 清水 亮 ryo_shimizu 新潟県長岡市生まれ。1990年代よりプログラマーとしてゲーム業界、モバイル業界などで数社の立ち上げに関わる。現在も現役のプログラマーとして日夜AI開発に情熱を捧げている。 Tweet 昨日の記事に対し、NVIDIAからヒステリックといえるほどの対応が起きました。不思議です。明らかに意図的に動いているのに、公表されている事実を指摘しただけなのにこの反応は不可解ですね。 NVIDIA側からは、「個別に面談して誤解を晴らしたい」という連絡を頂きましたが、そもそもなぜ個別に面談する必要があるのでしょうか。筆者のもとにはNVIDIAからGeForceの供給を止め
nVidia、GeForceのデータセンターでの利用を禁止する
NVIDIAが規約変更によりGeForceのデータセンター利用を制限。大学などの研究活動にも大ブレーキ - WirelessWire News（ワイヤレスワイヤーニュース） また清水亮がポエムを書いている。困るんだよね、名前の同じ人間にそういうことをされると私まで詩人だと思われてしまう。 nVidiaは確かに邪悪で不自由で存在自体が人道上の罪にあたる極悪企業であり、かのLinuxカーネルの最高開発者であるブリリアント・アッスホールの称号も名高いリーナス・トーバルズにも中指を突き立てられてFから始まるとてもここで書くことができないほどの醜悪極まりない侮辱の四文字言葉で罵られたほどの救いようのない時勢の読めない烏合の衆ではあるが、まさか自らの飯の種であるデータセンターへの利用を禁止するほどの寓話に出てくる金の卵を生む鶏を割くほどの阿呆ではないだろう。どれどれ、この私が直々にソースとやらを検証し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
生成AIでGPU不足深刻化、NVIDIA新投入のGH200とは？ メタやテスラが抱える驚きのGPU数
NVIDIA GPU によるニューラルネットワークMDのベンチマーク | 伊藤忠テクノソリューションズ株式会社
クラウドGPUインスタンスの利用料金 - Qiita
GitHub - exaloop/codon: A high-performance, zero-overhead, extensible Python compiler with built-in NumPy support
NVIDIA、Ampereアーキテクチャ採用で最大2倍高速になった「GeForce RTX 3080」 ～下位の3070でも2080 Tiより高速
GPU.js - GPU accelerated Javascript
【後藤弘茂のWeekly海外ニュース】 NVIDIAのAmpereで対応した新技術「プルーニング」
GitHub - ImVexed/muon: GPU based Electron on a diet
NVIDIA、世界初のレイトレGPU「Turing GPU Architecture」を投入。新GeForceも間近か
長文日記
