中国、わずか半年で3倍の性能を実現したゲーミングGPU。業界初PCIe 5.0対応で、11日にも発売へ
2022年10月に登場したNVIDIAの超ハイエンドGPU「GeForce RTX 4090」は、4K高画質設定の重量級ゲームを120fpsで動作させる程の高性能さが話題になっています。一方で、GeForce RTX 4090を搭載したグラフィックボードのユーザーからは「電源ケーブルが融解してしまった」という報告が複数件寄せられており、NVIDIAも調査に乗り出す事態に発展しています。そんな中、ハードウェア関連メディア・igor'sLABの調査によってGeForce RTX 4090搭載グラフィックボードの融解問題はGPUではなくケーブルに起因している可能性が濃厚となりました。 The horror has a face - NVIDIA’s hot 12VHPWR adapter for the GeForce RTX 4090 with a built-in breaking poin
OpenJDKを読む時間がStableDiffusionに奪われてしまいました。 部屋が熱くなるのでこの手のものは冬場にやるほうが賢そうです。 ちょっとはそれっぽいのが作れるようになってきました pic.twitter.com/1tBNsTjqtH — さくらんぼ (@lambda_sakura) August 26, 2022 今回は自分の計算機の構成について解説してみます。GPUをPCIパススルーしてしまい、GPUをホストOSとゲストOSで共有するような環境です。redditとか見ても解説している記事が多くはなく日本語に至っては見つけられませんでした。一定の価値があるかなと思って記録がてら書いています。 環境を作った動機 普段Linuxを使っていることが多いのですが、以下の場合にはWindowsを利用する必要があります。 ゲームをやりたい場合Microsoft Officeを利用する場
はじめにこんにちは、ストックマークでエンジニアをしている麻生です。ストックマークでは、「Anews」というウェブサービスを提供しています。この度、Anewsで新機能導入のために日次バッチの大規模なインフラ変更を行い、GPU並列処理環境を構築しましたのでご紹介します。 組織の自律化を支援するナレッジプラットフォーム「Anews」Anewsは国内外30,000メディアのニュースを毎日収集し、最先端の自然言語処理で個人や組織のミッションに即したニュースをレコメンドします。コメント機能で簡単にチームにアイデアを共有でき、社内の知見者から学ぶことでチームの情報感度が底上げされます。 エンタープライズを中心に、累計1500社以上のお客様にご利用いただいているサービスです。 英語記事をレコメンドする上での課題Anewsでは、記事への行動履歴からユーザーや組織の好みを学習し、記事をレコメンドしています。ユ
2024年版のGPU（グラフィックボード・ビデオカード）の性能比較表です。NVIDIA・AMD・Intel製のGPU（内蔵GPU含む）のゲーム用のベンチマークスコアを、デスクトップ向けとモバイル向けで分けて掲載しています。その他にも、メモリ（VRAM）の容量や帯域幅、大体の市場価格、コスパやワットパフォーマンスなども掲載しています。 ※掲載の価格は、更新時点でのおおよその市場最安値価格となっています。現在は異なる可能性があるため注意してください。また、同じGPU名でも製品によって仕様が異なる場合があるため注意してください（特にメモリやクロック）。GPU名のリンクはAmazonのものです。 3DMark Time Spy（DX12のゲーム性能） DirectX 12（DX12）のベンチマークテストです。現状WindowsのPCゲームで主流といえるDirectX 12のゲーム性能スコアです。解
次期最強GPU｢RTX 5090｣が、いろいろとヤバそうな件について2024.07.23 08:00130,056 武者良太 グラフィックの処理能力がヤバそう。そして価格も。 2024年末から2025年の3月までに、Nvidia（エヌビディア）の新しいGPU｢GeForce RTX 50｣シリーズが発売されるだろうというリーク情報が増えてきました。Dexertoの記事によれば、最初にリリースされるのはRTX 5090だ、いやRTX 5080だと、リーカーによって予想が異なっていますが、2022年のRTX 40シリーズ同様、まずはハイエンド寄りのモデルから発売するという流れは変わらないみたい。 ともあれ生成AIトレンドとともに重視されているNPUではなく、純粋なGPUの最新型となるRTX 50シリーズのなかでも頂点となるRTX 5090に期待している方も多いでしょう。いったいどんな性能を持っ
NVIDIA，新世代GPU「GeForce RTX 30」シリーズを発表。第1弾の「GeForce RTX 3080」は9月17日発売で税別約11万円前後
NVIDIA，新世代GPU「GeForce RTX 30」シリーズを発表。第1弾の「GeForce RTX 3080」は9月17日発売で税別約11万円前後 編集部：小西利明 2020年9月2日，NVIDIAは，独自開催のオンラインイベント「GeForce Special Event」で，Ampereアーキテクチャを採用する新型GPU「GeForce RTX 30」シリーズの製品として，「GeForce RTX 3080」と「GeForce RTX 3070」，および「GeForce RTX 3090」を発表した。 GeForce RTX 3080搭載カードを披露するNVIDIAのCEOであるJensen Huang（ジェンスン・フアン）氏 搭載グラフィックスカードのメーカー想定売価と発売時期は，GeForce RTX 3080が10万9800円で9月17日，GeForce RTX 3070
TPU VS GPU(日本語版)
はじめに(この記事の英語版はTPU VS GPU(English Edition)にあります。) Machine Learning部門の江間見です。ストックマークでは、自然言語処理技術の研究開発を行っています。 昨今、大規模データでニューラルネットワークを訓練し良い結果を得ようとするならば、深層学習モデルの訓練にかかる時間の膨大さに誰もが悩まされたことがあるかと思います。さらに、深層学習モデルはハードウェアのリソースを多く必要とします。 深層学習モデルの学習では、計算の特性上、CPU（Central Processing Unit）より GPU（Graphics Processing Unit）が高速であるため、GPUが推奨されます。しかし、GPU以外の選択肢として、TPU(Tensor Processing Unit)があります。 そこで、本記事では、自然言語処理のタスクで深層学習モデル
MetaのAI研究組織であるMeta AI Researchが、大規模言語モデル「LLaMA(Large Language Model Meta AI)」を2023年2月24日に発表しました。Meta AI Researchによれば、LLaMAはOpenAIのGPT-3よりもパラメーター数がずっと小さく、単体GPUでも動作可能でありながら、ベンチマークテストの一部ではGPT-3を上回ったとのことです。 LLaMA: Open and Efficient Foundation Language Models - Meta Research https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/ Meta unveils a new large languag
稼働中のPCやサーバのCPU/GPU温度を監視することは、マシンの状態を把握する上で極めて重要である。CPUなどの精密なパーツは、指定された制限値を超える温度で実行されていると、寿命が極端に短かくなったり、熱暴走を起こして停止したりしてしまう可能性がある。それを防止するには、いち早く冷却機能が正常に動作しているかを確認し、故障の原因を突き止めなければならない。TecMint.comは「4 Useful Tools to Monitor CPU and GPU Temperature in Ubuntu」において、UbuntuにおいてCPUやGPUの温度を監視するために便利な4つのツールのインストール方法を紹介している。以下、そのポイントをまとめてみた。 Glances Glances - An Eye on your system GlanceはPythonで記述されたシステム監視ツールで
『NVLink Bridgeで複数GPUを繋いだら、それらが1GPUとして扱えるようになるんでしょ？』という誤解をされているお客様をしばしばお見受けいたします。こちらの記事では、それが誤解であること、また、SLIやUnified Memoryといった関連する情報についても整理して解説いたします。間違った期待を抱いて失敗しないように、正しい理解を深めていきましょう。 GPUのメモリ空間は他デバイスから隔絶されています GPU上には演算するためのプロセッサと、データを一時的に置いておくためのメモリ(VRAM)が搭載されています。GPUのメモリを、CUDAで書かれたプログラムから利用するには、cudaMallocでメモリ領域を確保し、cudaMemcpyを使ってホスト(CPU側)のメモリとデータの送受信を行い、GPU上で演算kernelとする関数（以下、GPU-Kernel）を呼び出し、最後にc
Pythonのように書けてGPU上で並列処理できる新プログラミング言語「Bend」、2D画像→3Dを高精度生成するGoogle「CAT3D」など重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第47回目は、生成AI最新論文の概要5つを紹介します。 生成AI論文ピックアップ GPU上でネイティブ動作する並列処理が可能な新プログラミング言語「Bend」とランタイムシステム「HVM2」 2D画像から3Dコンテンツを生成する「CAT3D」をGoogleが開発 大規模言語モデルは追加学習や新知識で幻覚生成が増加。Googleなどが調査 画像とテキストを使った長文生成が得意なAIモデル「Chameleon」をMetaが開発 Transformerを超える「Mamba」は視覚認識タスクに必要か？ 開発した「MambaOut」モデルで検証 GPU上でネイティブ動作する並列
CPU・GPU・ストレージの性能をワンクリックで測定できるフリーソフト「CrystalMark Retro」レビュー、CrystalDiskMark作者の新作で簡単操作でPCの性能を測定可能
CPUやGPU、ストレージの性能を簡単に測定できるベンチマークソフト「CrystalMark Retro」が2024年3月31日にリリースされました。CrystalMark Retroはストレージベンチマークソフト「CrystalDiskMark」やストレージ管理ソフト「CrystalDiskInfo」といった定番ソフトの作者であるhiyohiyo氏の新作ということで、CrystalMark Retroも定番ソフトに仲間入りしそうな気配を感じます。そんなCrystalMark RetroをダウンロードしてPCの性能を測定するまでの手順を確認してみました。 CrystalMark Retro - Crystal Dew World [ja] https://crystalmark.info/ja/software/crystalmarkretro/ CrystalMark Retroをダウン
3行でまとめると LLM分散学習ハッカソンに参加し、Vision-Languageモデルの一つであるBLIP2のHuggingFaceモデルを拡張して動画からテキスト生成するVideoBLIPを作成しました。ソースコードはGithubで公開しています。 運転映像に対する説明文章を学習に用いてVideoBLIPの学習を行い、運転映像を説明するモデルを作成しました。（以下のように運転映像に対して説明文が出力されます） 学習を高速化するためにマルチノードで学習を行えるようにし、実際にABCIのGPU80台を使って分散学習を行い、4GPUで行った場合の20倍の計算速度が実現できました（Strong Scaling!） 分散並列学習にはDeepSpeedを用いました。 はじめに Brain Researchチームで自動運転AIを開発している棚橋です。Brain Researchチームではレベル5の完
NVIDIAのGPU不足が解消され余剰在庫が発生
新型コロナウイルス感染症のパンデミックによる工場閉鎖や仮想通貨のマイニング需要などが重なり、2021年はGPUの価格が激しく高騰しました。しかし、2022年1月にはGPUの価格が下落に転じたという報道がなされ、2022年4月には正常な価格に近づいていると伝えられており、価格が次第に安定し始めたことがうかがえます。このような状況の中、NVIDIAはGPUに余剰在庫が生じていることを明らかにしました。 NVIDIA Corporation (NVDA) CEO Jensen Huang on Q2 2023 Results - Earnings Call Transcript | Seeking Alpha https://seekingalpha.com/article/4536856-nvidia-corporation-nvda-ceo-jensen-huang-on-q2-2023-r
［GDC 2024］CPUを使わずにGPUが自発的に描画するパイプライン「Work Graph」がDirectX 12に正式採用
［GDC 2024］CPUを使わずにGPUが自発的に描画するパイプライン「Work Graph」がDirectX 12に正式採用 ライター：西川善司 セッションタイトルを訳すなら，「ようこそ，未来のGPUプログラミングモデル『GPU Work Graph』へ」 米国時間2024年3月18日に行われたGDC 2024の技術セッション「Advanced Graphics Summit: GPU Work Graphs: Welcome to the Future of GPU Programming」において，AMDとMicrosoftは共同で，DirectX 12の新機能「Work Graph」を発表した（関連リンク）。本稿では，Work Graphとは何で，どのような利点をもたらすのかを解説したい。 セッションを担当したMicrosoftのShawn Hargreaves氏（Dev Man
低ランク行列を追加することで、大元のモデルを維持しつつ少ないコストで学習できる LoRA(Low-Rank Adaptation of Large Language Models)。先日、日本語でも大規模パラメータモデル cyberagent/open-calm-7b や rinna/japanese-gpt-neox-3.6b 等々がリリースされたり、HuggingFaceからはtransformersでLoRAを簡単に実現できるライブラリ、peft がリリースされたことで、試したことがある方も多いと思います。 ただ、LoRAのメリットについて主に学習の話が殆どで、もう一つの大きなメリットであるLLMのベースモデルのメモリを共有しつつ、複数のタスクをこなす方法の紹介は見かけたことがなかったので、それをpeftで行う方法についてのお話です。 なお、LoRAとは何か？というお話は、輪講資料
現在シリコンバレーで最も注目される話題は「GPU不足」といわれている。生成AIへの関心が高まる中、大規模言語モデルの開発が活発化し、それに伴いGPUをめぐる取得競争が激化しているためだ。そのため、NVIDIAが新たに発表した「GH200」にも注目が集まる。GH200はどんなGPUになるのか。そもそもなぜGPUが不足しているのか、現行GPU「H100」や「A100」は誰が、何個取得したのか、ChatGPTの開発にGPUはどれほど必要なのか。GPU関連の注目トピックを紹介しよう。 シリコンバレーでは「GPU不足」が話題 ChatGPTなど、生成AIへの関心・需要が高まる中、大きな課題としてシリコンバレーで注目されるトピックがある。それが「GPU不足」だ。 OpenAIのChatGPT、グーグルのBard、AnthropicのClaudeなどいわゆる生成AIチャットボットの核となっているのが大規
文章生成AIの研究開発が急速に進んでおり、無料で使える大規模言語モデル(LLM)も数多く公開されています。しかし、LLMの動作を実際に試すには高性能なハードウェアや複雑な環境構築が必要なことが多いため、最初から諦めている人も多いはず。無料で公開されている「LM Studio」を使えば、一般的な性能のPCでもコマンド不要で気軽にLLMの動作させられるとのことなので、実際にLM Studioを使ってLLMを使う手順を確かめてみました。 LM Studio - Discover, download, and run local LLMs https://lmstudio.ai/ ◆LM Studioのインストール LM StudioはWindows版とmacOS版が存在するほか、Linux向けのベータ版も存在します。Windowsで使う場合の必要条件は「AVX2に対応したCPU」のみ。近年販売さ
NVIDIAが「消費電力1000Wの爆熱GPU」を開発中か
世界有数のPCメーカーであるDellの決算発表会で「NVIDIAが消費電力1000WのGPUを開発している」という旨の発言が飛び出しました。 Exhibit 99.1 Earnings 8K Q4 FY24 - Q4 FY24 Financial Results Press Release.pdf (PDFファイル)https://investors.delltechnologies.com/static-files/12b9be7b-2d4c-4d63-b7d3-8bb467724952 Dell exec reveals Nvidia has a 1,000-watt GPU in the works • The Register https://www.theregister.com/2024/03/05/nvidias_b100_gpu_1000w/ 「NVIDIAが消費電力100
最強ＣＰＵ将棋ソフト『水匠』ＶＳ最強ＧＰＵ将棋ソフト『dlshogi』長時間マッチ観戦記 第二譜『dlshogi』山岡忠夫の信念
取材・文／白鳥士郎 「バグが原因で勝ったと思われるのは、嫌だな」 第1局に勝利した瞬間、山岡忠夫の心に真っ先に浮かんだのは、そんな思いだった。 『やねうら王』に存在したバグ。 山岡はその存在に全く気付いてはいなかった。そもそも山岡は将棋ソフトを開発する際に、盤面や読み筋はおろか、評価値すら見ることがない。だからバグを知らないのも当然といえた。 では、山岡は何を見て開発しているのか？ 「基本的に、見るのは勝率と正解率です」 正解率とは、長時間の対局で『dlshogi』が指した手と同じ手を、ニューラルネットで予測して時間を使わず指すことができるかどうか、その割合を示す。 この精度が高ければ高いほど、dlshogiが強くなっているということを意味する。 だから山岡はdlshogiがどんな将棋を指すのかをほぼ知らない。将棋を指さず、将棋番組も見ないため、そもそも将棋の対局を見る機会もあまりない。
以下の記事が面白かったので、かるくまとめました。 ・Methods and tools for efficient training on a single GPU 1. LLMを単一GPUで効率的に学習する方法大規模モデルの学習では、次の2つを考慮する必要があります。 ・スループット・学習時間 ・モデルのパフォーマンス 「スループット」 (サンプル / 秒) を最大化すると、学習コストの削減につながります。これは通常、GPUメモリを限界まで利用することで実現されます。必要なバッチサイズがメモリオーバーする場合は、「Gradient Accumulation」などの「メモリの最適化」が必要になります。 ただし、「推奨バッチサイズ」がメモリに収まる場合は、学習が遅くなる可能性があるため、「メモリの最適化」を適用する必要はありません。どのバッチサイズが最良の結果をもたらすかを決定し、それに応じ
Appleのサプライチェーン関係者によれば、Appleは2020年末までにTSMCの5nmプロセス技術を使用したApple Silicon用A14Xプロセッサの量産を開始し、12インチRetinaディスプレイを採用したMacBookに搭載されると、工商時報が伝えている。 A14Xプロセッサを採用したMacBook (Retina, 12-inch)は、バッテリー持続時間が最大10時間～12時間となる可能性があるそうだ。12インチMacBookは2019年に販売終了となっており、現在のラインアップには存在しない。 また、Appleは、TSMCの5nmプロセス技術を使用したApple Silicon Mac用のGPUも開発中で、2021年後半に発売予定のiMacに搭載される予定だとも伝えている。 iPhone 12シリーズで採用されるA14はコードネーム「Sicilian」、iPad Proと
by Jonathan Cutrer NVIDIAがGPUのLinux向けカーネルモジュールをオープンソース化しました。ソースコードはGPLライセンスとMITライセンスのデュアルライセンスで公開されており、記事作成時点ですでにダウンロード可能となっています。 NVIDIA Releases Open-Source GPU Kernel Modules | NVIDIA Technical Blog https://developer.nvidia.com/blog/nvidia-releases-open-source-gpu-kernel-modules/ これまで、NVIDIAがGPU関連ソフトウェアのオープンソース化に積極的でないことは広く知られており、2012年にはLinuxの生みの親であるリーナス・トーバルズ氏がLinux対応を怠るNVIDIAに対して中指を突き立てる事件が発生し
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GeForce RTX 4090の融解問題はGPUではなくケーブルの問題である可能性が濃厚に
GPUが1枚のマシンでもPCIパススルーして、ゲームができるWindowsのVMを作る
AWSを活用した機械翻訳のためのGPU並列処理環境の構築
Apple、電力効率を重視しながらCPUが18%、GPUが35%高速化した「M2」プロセッサ
GPU（グラフィックボード）性能比較表【2024年最新版】
Intel、デスクトップ向け第11世代Core「Rocket Lake-S」の詳細を発表 ～CPUはIPCを大幅向上させたCypress Cove、GPUにXe Graphicsを採用
「Microsoft Teams」のパフォーマンスが改善、2020年比で電力消費を最大半減／きめ細かな分析とピンポイントな改善。今後もCPU/GPU最適化を継続へ
次期最強GPU｢RTX 5090｣が、いろいろとヤバそうな件について
【Hothotレビュー】 国内未発売のIntel Arc A380先行入手！GPUの第三の選択肢になるのか？
AMDの次世代GPUアーキテクチャ「RDNA 2」、ついにハードウェアレイトレーシング対応 ～Zen 4までのロードマップ公開。データセンター向けの新GPUアーキテクチャ「CDNA」も
【笠原一輝のユビキタス情報局】 「沢下り」から「沢登り」へと他2社とは逆の製品展開を行なうIntelのGPU戦略
Metaが大規模言語モデル「LLaMA」を発表、GPT-3に匹敵する性能ながら単体のGPUでも動作可能
UbuntuでCPU/GPUの温度を監視するためのツール4選
【Hothotレビュー】 Ryzen搭載でGPU性能が格段に向上した「Surface Laptop 3 15型」の実力は?
NVLink BridgeでGPUを繋いでも1GPUにはなりません | HPCシステムズ Tech Blog
【Hothotレビュー】 IntelミドルレンジGPUのお手並み拝見！発売前のArc 770とA750をベンチマークテスト
走行動画を説明するLLMを作成し、80台のGPUで分散並列学習させた話
Intel vs. AMDガチ比較！ ゲームのfpsは、配信負荷はどうだ!? ～第3世代Ryzen×GPUの最適タッグを検討する
Ryzen 6000モバイル版で遂にGPUにてこ入れ。Zen3+とRDNA2で性能大幅引き上げ
AMD、Zen 3アーキテクチャに刷新したGPU内蔵の「Ryzen 5000G」
GPUでビデオをエンコード・デコード ～Linuxで普及の「VA-API」がWindowsで利用可能に／Windows 10 November 2019 Update/Windows 11以降で
LoRA のもう一つの大きなメリット、GPUメモリ共有しつつ別のタスク処理モデルへ即時に切り替える方法 - A Day in the Life
生成AIでGPU不足深刻化、NVIDIA新投入のGH200とは？ メタやテスラが抱える驚きのGPU数
GPU非搭載ノートPCでもコマンド不要で各種言語モデルの性能を試せる実行環境「LM Studio」レビュー
Raspberry Pi PicoでGPUを作る。element14が動画を公開
大規模モデルを単一GPUで効率的に学習する方法｜npaka
12インチMacBook、A14X搭載で年内復活か Apple Silicon GPUも開発中
【笠原一輝のユビキタス情報局】 Apple M2と第12世代Core Pをベンチ比較。CPUはCoreが、GPUはM2が優位
NVIDIAがGPUのLinux向けカーネルモジュールをオープンソース化、すでにダウンロード可能に
富士通、プログラム処理中でもCPUとGPUを切り替える世界初の技術。GPU不足に対応
MINISFORUM、「GPUを後付けできるミニPC」が進化。電源を内蔵して一体感向上
