サカナ逃さぬNVIDIA ｢GPU貧乏｣に見いだした省エネAI - 日経デジタルガバナンス
サカナAIのジョーンズCTO㊧と握手するエヌビディアのファンCEO（3月、米サンノゼ）米半導体大手エヌビディアが日本の人工知能（AI）スタートアップのサカナAI（東京・港）への出資を決めた。米グーグル出身の著名研究者らが率いる有望企業と関係を深め、画像処理半導体（GPU）経済圏の拡大を狙う。高効率なAIを追求するサカナAIへの出資の背景を読み解くと、AIの省電力時代を見据えて布石を打つ戦略も浮かび上がる。サカナAIは4日、エヌビディアからの資金調達を発表した。金額など詳細は開示
サカナAIのジョーンズCTO㊧と握手するエヌビディアのファンCEO（3月、米サンノゼ）米半導体大手エヌビディアが日本の人工知能（AI）スタートアップのサカナAI（東京・港）への出資を決めた。米グーグル出身の著名研究者らが率いる有望企業と関係を深め、画像処理半導体（GPU）経済圏の拡大を狙う。高効率なAIを追求するサカナAIへの出資の背景を読み解くと、AIの省電力時代を見据えて布石を打つ戦略も浮かび上がる。サカナAIは4日、エヌビディアからの資金調達を発表した。金額など詳細は開示
「国内利用率わずか5.4%、約9割が海外サービスを利用」。8月29日にGMOインターネットグループから発表された「GPUクラウド利用実態調査」の見出しにはちょっと驚いた。生成AI全盛期の最中、GPUの需要はうなぎ登りだと思っていたが、GPUクラウドの利用はまだまだだ。果たしてどの程度の需要が望めるのだろうか？ 「2000基のGPUはすでに売り切れた」と聞いたばかりなのに GPUクラウドは文字通り、AIの計算処理に不可欠とも言えるGPUをサービスとして提供するクラウドサービス。複数のGPUを搭載したGPUサーバーや複数サーバーのクラスターをサービスとして利用できる。 GPUクラウドはGPUの大量調達能力に加え、電力を消費するため、潤沢な電力供給が可能なデータセンターにしか設置できない。そのため、今まではサービスとして提供できるのは、グローバルのパブリッククラウド事業者がメインだった。しかし、
「Core Ultraプロセッサ（シリーズ2）」は驚きの内蔵GPU性能に メモリ帯域が当初発表から“倍増”：IFA 2024（1/4 ページ） 既報の通りIntelは9月3日（中央ヨーロッパ時間）、ドイツ・ベルリンで開催される「IFA Berlin 2024」の開幕に先立って、モバイル向け新型CPU「Core Ultra 200Vプロセッサ」（開発コード名：Lunar Lake）を発表した。 →新型SoC「Intel Core Ultra 200V」シリーズ発表！ AMDやQualcommを上回る性能とバッテリー駆動時間をアピール 搭載PCは9月24日から発売 →インテルが「Core Ultraプロセッサ（シリーズ2）」搭載ノートPCを国内初披露 どんなモデルがある？ IT／PC業界全体がAI（人工知能）に傾倒していく流れの中で、同社はちょうど1年前に「Core Ultraプロセッサ（シリ
タイトル: GPUの力を解放するプログラマー 東京の繁華街、青山のオフィスビルに住むプログラマーの田中健太は、朝から晩までスクリーンと向き合いながら日々を過ごしていた。彼のデスクには、複数のモニターと、コードがびっしりと詰まったノートが並んでいる。 ある日、彼は新しいプロジェクトに取り組んでいた。タスクは、古いNAMPy（Non-Accelerated Matrix Processing）を使って計算する非効率的なループ処理を、自動で高効率なGPU対応コードに変換するプログラムを作成することだった。彼の目標は、GPUのパワーを最大限に引き出し、処理速度を劇的に向上させることだった。 彼の心には、過去の経験からくる焦燥感があった。NAMPyのループは、コードが複雑になり、処理が遅くなることが多かった。しかし、最近のGPU技術の進歩を受けて、彼はこれを利用して問題を解決する決意をした。 初めの
米Cerebras Systemsは8月27日（現地時間）、AI開発者が同社のシステムにアクセスしてアプリを実行できるようにするAI推論ソリューション「Cerebras Inference」を発表した。「米NVIDIAのGPUベースのハイパースケールクラウドより20倍高速」で、はるかに安価だとしている。 Llama3.1 8Bで1秒当り1800トークン、Llama3.1 70Bで1秒当り450トークンを提供し、価格はLama 3.1 8Bで100万トークン当り10セント、Llama 3 70Bで100万トークン当り60セント。 Cerebrasは発表文で、NVIDIAなどのGPUシステムが推論に向かない理由を説明し、自社のシステムは「世界最大のチップを構築し、モデル全体をオンチップに保存することで、メモリ帯域幅のボトルネックを解決する」ことで、GPUのような遅延を解消したと主張する。
Metaが405BのLLMをリリースし、オープンLLMにも巨大なモデルが増えてきました。 スケーリング則に従い、巨大になるほど精細になり、能力も増えます。 すべて巨大なモデルで推論処理を続けたいのですが、 巨大になった時、メモリに載らないことと、推論速度の面で現実的に動かすことが困難となっています。 コンシューマークラスのGPUのVRAMは最大24GB、 405Bモデルは、16bitでは、800GB以上、4bitでも200GBを軽く超えます。 システムのメモリを256GB 積めば、CPUで推論可能ですが、1秒で1token以下となり、文章出力に時間がかかりすぎて実用性がありません。 今回、マルチGPUでの推論速度に影響する因子を実際に調べてみました。 測定マシンは、以前作成したRTX4090 x 2の自作ワークステーションです コンシューマー構成で最強を目指した パーソナルLLM推論機の稼
半導体大手のArmがNVIDIAやIntelと競合するGPUをイスラエルで開発していることが報じられました。海外メディアのGlobesによると、Armはイスラエルに約100人のエンジニアからなるプロジェクトチームを擁しているとのことです。 UK chip giant ARM developing GPU in Israel - Globes https://en.globes.co.il/en/article-uk-chip-giant-arm-developing-gpu-in-israel-1001486761 Arm reportedly developing gaming GPU in Israel to compete with Nvidia and Intel | Tom's Hardware https://www.tomshardware.com/pc-components
競合から2年遅れて「レイトレ対応GPU」を投入したAMD NVIDIAが、ハードウェアベースのレイトレーシング機能を世界で初めて搭載した「GeForce RTX 20シリーズ」を発表したのが2018年だった。 競合のAMDは2019年、新GPUアーキテクチャ「RDNA」を発表し、同アーキテクチャを採用したGPUの開発コード名が「Navi」となることを発表した。 Naviは「Radeon RX 5000シリーズ」として製品化されることになったわけだが、多くのPCゲーミングファンは「Radeon RX 5000シリーズには、きっとRTユニットが搭載されている！」と確信していた。 →AMDが次世代GPU「Radeon RX 5000」ファミリーを7月投入 ところが、ここでまさかの“肩透かし”が発生する。Radeon RX 5000シリーズはレイトレ“非対応”だったのだ。 結論からいうと、AMDの
白色ボディーに外部GPUを搭載！ マウスコンピューターの「DAIV R4-I7G50WT-B」を試して分かった設定の妙
白色ボディーに外部GPUを搭載！ マウスコンピューターの「DAIV R4-I7G50WT-B」を試して分かった設定の妙（1/4 ページ） 「ディスクリートGPUを備えた14型モバイルPC」というのは、なかなか魅力的な言葉だ。モバイルPCは軽さや薄さ、バッテリー駆動時間が重視され、CPU内蔵の統合GPUを搭載するのが一般的だからだ。 今回紹介するマウスコンピューターのクリエイター向けモバイルPC「DAIV R4-I7G50WT-B」は、14型サイズでディスクリートGPUを搭載したモデルだ。ニッチなことは確かだが、アクティブなクリエイターの心をつかむ製品ではないだろうか。 ここでは、第13世代Core i7のCPUとGeForce RTX 4050 Laptop GPU採用で19万9800円と20万円切りのモデル（R4I7G50WTBCCW101DEC）を借りられたので、早速レビューしていこう
1997年からCPUやGPUなどのハードウェアに関するニュースやレビューを発信してきたニュースサイト・AnandTechが、2024年8月30日をもって更新を停止することを発表しました。サイトの所有者であるFuture PLCによると、AnandTechのこれまでの記事は削除されずに残り、フォーラムの管理は継続されるとのことです。 End of the Road: An AnandTech Farewell https://www.anandtech.com/show/21542/end-of-the-road-an-anandtech-farewell AnandTech shuts down after 27 years - The Verge https://www.theverge.com/2024/8/30/24232171/anandtech-tech-journalism-h
次世代の高速計算。CPU NumPy のコードを GPU CuPy コードに自動変換。 - Qiita
ショートストーリー: 「コードの彼方」 東京の繁忙な街並みを見下ろす高層ビルの一室で、若きプログラマ、翔太が熱心に作業していた。彼のモニターには、NumPyで書かれたコードが表示されている。スクリーンに映し出される数式とデータは、彼の心の中で複雑なパズルのように組み合わさっている。 翔太は、日々の仕事に加えて、自身のプロジェクトにも取り組んでいた。それは、計算処理を高速化するためにNumPyで書かれた数値計算コードをCuPyに変換するというものだ。彼の目標は、GPUの力を借りて計算を爆速で処理することだった。夜も更け、東京の街はネオンの光に包まれていたが、翔太はキーボードに向かい続けた。 「ループを含むコードが多いなぁ…。これをCuPyでどのように変換し、最適化すれば良いのか…。」翔太はつぶやいた。彼のモニターには、次のようなNumPyのコードが表示されている。 import numpy
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPUクラウドをみんな知らない ニーズのなさか、伸びしろか
「Core Ultraプロセッサ（シリーズ2）」は驚きの内蔵GPU性能に メモリ帯域が当初発表から“倍増”
次世代の高速計算。自動で高効率なGPU対応コードに変換するプログラム。 - Qiita
Cerebras、「NVIDIAのGPUベースより20倍高速」謳うAI推論サービス提供開始
巨大なLLMモデルをマルチGPUで動かす！～モデル分割方法による速度の違い～｜AIサトシ
ArmがNVIDIAやIntelに競合するゲーム用GPUをイスラエルで開発中との報道
GPUの「レイトレーシング処理」改良の歴史をひもとく【Radeon RX 7000シリーズ編】
【特集】 「黒神話：悟空」はどのぐらいのGPUが必要か検証してみた
CPUやGPUのレビューに定評のあった老舗サイト「AnandTech」が27年の歴史に幕