【特集】 約30年でGPUはどのぐらい速くなったの？歴史を振り返りつつぜ～んぶ計算してみた
「NVIDIA最新GPUの20倍速い」史上最速を謳うAIチップ「Sohu」
米AIスタートアップ「Etched」は6月25日（現地時間）、ChatGPTなど最新のAI技術の基盤となっている「Transformer」アーキテクチャーに特化したチップ「Sohu」を発表した。この発表は、現在NVIDIAが支配的な地位を占めるAIチップ市場に、新たな競争をもたらす可能性がある。 Transformer処理に特化 AIチップ市場は現在NVIDIAが圧倒的なシェアを持つ。同社の汎用GPUは様々なAIモデルを効率的に処理できる柔軟性から市場の約80%を占めている。 多くの大手テクノロジー企業がAI開発のためにNVIDIAのチップに数十億ドルを投資しているのが現状だ。 Etchedの「Sohu」は、ASIC（Application-Specific Integrated Circuit：特定用途向け集積回路）と呼ばれる、特定の用途に最適化された集積回路だ。汎用性は低いものの、特定
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実
加熱するLLM開発競争に冷や水、オープンモデルの組み合わせだけでGPT-4o越えの事実 2024.06.21 Updated by Ryo Shimizu on June 21, 2024, 18:19 pm JST 世界中の企業や政府が狂ったようにNVIDIAのGPUを買い漁る流れはそろそろ潮時かもしれない。 いくつかの興味深い事象が起きているからだ。 昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function
速報：話題の 1ビットLLMとは何か？｜寺田英雄（㈱オープンストリームCTO）
2024-02-27にarXiv公開され，昨日（2024-02-28）あたりから日本のAI・LLM界隈でも大きな話題になっている、マイクロソフトの研究チームが発表した 1ビットLLMであるが、これは、かつてB-DCGAN(https://link.springer.com/chapter/10.1007/978-3-030-36708-4_5; arXiv:https://arxiv.org/abs/1803.10930 )という「１ビットGANのFPGA実装」を研究していた私としては非常に興味をそそられる内容なので、論文を読んでみた。今回は速報として、その内容のポイントを概説したい。 論文情報 Ma, S. et al. (2024) ‘The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits’, arXiv [c
MetaのザッカーバーグCEO、AGI開発宣言 「AIとメタバースは繋がっている」
米Metaのマーク・ザッカーバーグCEOは1月18日（現地時間）、Threadsへの投稿で、同社の長期的なビジョンを、「general intelligence」の構築と、そのオープンソース化により、誰もが恩恵を得られるようにすることだと語った。 ザッカーバーグ氏がgeneral intelligenceとしているのは、米OpenAIや米GoogleがAGI（汎用人工知能）と呼ぶ、人間と同じような汎用的な知能を持つAIを指す。（本稿ではAGIとする。） ザッカーバーグ氏はこれを実現するために、2024年末までに米NVIDIAのHopper採用GPU「H100」を35万枚投入すると語った。 このデータセンターで、次期LLM「Llama 3」を「責任を持って安全にトレーニング」していくという。 同氏はまた、ユーザーが日常的にAGIを使うために、新たなデバイスを必要とすると語った。 「これにより
Appleの発表に改めて見たIntelの苦境
大口顧客が心臓部のチップを自社開発へシフトしたことに加え、インテルはプロセッサー市場を競う米AMD（Advanced Micro Devices）から猛烈な追い上げを受け、さらには新たな競合も登場している。最近では、米Qualcomm Technologies（クアルコム・テクノロジーズ）が23年10月、人工知能（AI）処理などの機能を強みとするノートパソコン向けプロセッサーを発表した。スマートフォン向けプロセッサー市場を制したクアルコムがパソコン向けでも覇権を狙う。 インテルの苦境は直近の業績にも鮮明に表れている。米SIA（Semiconductor Industry Association：米国半導体工業会）の23年11月1日（米国時間）の発表によると、同年7～9月期の半導体世界売上高は前年同期比で4.5％減少したが、この全体傾向より減少幅が大きかったのがインテルである。同社とは決算期
次世代Nintendo Switch 「スイッチ2」(仮)のデモを見た証言続々。DLSSやレイトレ対応、UE5のMATRIXデモも | テクノエッジ TechnoEdge
著書に『宇宙世紀の政治経済学』（宝島社）、『ガンダムと日本人』（文春新書）、『教養としてのゲーム史』（ちくま新書）、『PS3はなぜ失敗したのか』（晋遊舎）、共著に『超クソゲー2』『超アーケード』『超ファミコン』『PCエンジン大全』（以上、太田出版）、『ゲーム制作 現場の新戦略 企画と運営のノウハウ』(MdN)など。 Nintendo Switchも発売から7年目を迎え、そろそろライフサイクルの終わりに差し掛かりつつあります。 そんななか、後継モデル（以下「スイッチ2」）の未確認情報も相次いでいましたが、今度は「任天堂が実際に開発者にスイッチ2の技術デモを見せた」と複数の人物が証言しています。 いずれも、先月下旬にドイツ・ケルンで開催された大型ゲームイベントgamescom 2023での証言です。 まずはイベント終了直後、マイクロソフト関連で信頼性の高いWindows Centralの編集者
バブルハンターが警告、エヌビディア熱狂は「大いなる市場の妄想」
A sign is posted in front of the Nvidia headquarters on May 10, 2018 in Santa Clara, California. Photographer: Justin Sullivan/Getty Images 大企業がもっと大きくなるとの賭けが当たり、何年も前から利益を積み上げてきた株式トレーダーらは、バブルがどういうものだったか忘れている。エヌビディアがそれを思い出させてくれるかもしれない。 こう語るのはリサーチ・アフィリエイツを創業したロブ・アーノット氏だ。超大型株膨張の危険性を警告することで知られるアーノット氏は、そうした脅威を緩和するパッシブ運用プロダクトの設計者でもある。年初から232％上昇したエヌビディア株は、コンピューターサイエンス革命の流れに乗っているのかもしれないが、「大いなる市場の妄想として教科書で説
GeForce 536.67 ドライバ 不具合情報。ブラックスクリーンは直らず。536.40でハードウェア損傷か ［Update 2］ | ニッチなPCゲーマーの環境構築Z
GeForce 536.67ドライバの不具合情報です。NVIDIA公式の既知の不具合と、海外のGeForceフォーラムで目に付いたユーザー報告を意訳しています。ユーザー報告は全ての環境で発生するものとは限らず、環境依存の可能性もあります。同様の不具合にお悩みの方の参考になりましたら幸いです。 更新履歴 ［記事初公開日: 2023/7/20］ ① 536.67にしてからブラックスクリーンが発生するようになったとのユーザー報告を追記。536.67でも修正されていない模様。 | Dead Spaceがクラッシュするという既知の不具合1件追加。 ［2023/7/23］ ② 既知の不具合を2件追加。 ［2023/8/9］ ［New］NVIDIA公式: 既知の不具合 (リリースノート + フォーラム)既知の不具合Dead Space (2023)のプレイ中にゲームがクラッシュする場合があります ［Ne
「ChatGPT」のような生成系AIを高速化するサーバー向けGPUをNVIDIAが発表
「ChatGPT」のような生成系AIを高速化するサーバー向けGPUをNVIDIAが発表 ライター：米田 聡 GTC 2023の基調講演に登場したJensen Huang氏 2023年3月21日，NVIDIAが主催する恒例のGPU技術関連イベント「GTC 2023」がスタートした。3月22日に行われた同社CEOであるJensen Huang（ジェンスン・フアン）氏の基調講演では，さまざまな新しいAI関連製品やサービスが発表となった。 本稿では，基調講演の一部から，ゲーマーでも知っておく価値がありそうなものにしぼって概要を紹介したい。 計算機リソグラフィ分野に大躍進をもたらす「cuLitho」 NVIDIAは自社で工場を持たない，いわゆるファブレスの半導体メーカーである。ただ，ファブレスといっても半導体の製造技術と無関係でいられるわけではない。とくにGPUは，最先端の製造技術を用いる複雑で大規
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(
RTX 4090の12VHPWRコネクタ溶解報告、2例目。今度はASUS TUF Gaming GeForce RTX 4090 OC Edition | ニッチなPCゲーマーの環境構築Z
先日、GeForce RTX 4090の12VHPWRコネクタ部分が燃えて溶けたという報告がありましたが、2例目の報告が出てきました。その写真がこちら。 12VHPWRコネクタが溶解 今回、報告されたグラボはASUSの『TUF Gaming GeForce RTX 4090 OC Edition』。 投稿主のNoDuelsPolicy氏によると、黒い砂漠をプレイしていると突然画面が真っ黒になってファンが100％で回転したため、PCの電源を切ってグラボを調べたところ、グラボ側・ケーブル側、両方の12VHPWRコネクタが溶解していたそうです。 また、ケーブルを無理に曲げて使用することもなく、以下の写真のような感じで普通に使用していたとのことです。 無理に折り曲げず普通に使用していた 先日から続く12VHPWRコネクタの発火・溶解の件について、海外メディアのTom’s HardwareがNVID
NVIDIAのCEOが「グラボの値段はもう下がらない」と明言。我慢しても高いまま - AUTOMATON
NVIDIAは9月19日よりカンファレンスイベント「GTC 2022」を開催していた。新型GPUであるGeForce RTX 4090/4080がお披露目されたほか、同社CEOによる基調講演や質疑応答なども実施。そのなかで、「もうGPUの価格低下傾向はおわった」との、ユーザーにとって悲しい見通しが語られたようだ。海外メディアDigital Trendsなどが伝えている。 NVIDIAはGeForceシリーズのGPU（およびグラフィックボード）などでお馴染み の半導体メーカーだ。同社が開催したGTC 2022では、新アーキテクチャAda Lovelace採用GPU「GeForce RTX 4090」および「GeForce RTX 4080」が発表。RTX 4090が10月より、RTX 4080が11月より発売予定と明かされた（関連記事）。スペックや新技術などが注目を集めるなか、とりわけユーザ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://jp.wsj.com/articles/nvidias-ascent-to-most-valuable-company-has-echoes-of-dot-com-boom-59fd946f
NVIDIA、1パッケージに2ダイの新型GPU「Blackwell」。AI性能は学習4倍、推論30倍に
NVIDIA純利益14倍 8〜10月、AI半導体で急拡大続く - 日本経済新聞
GPUの性能比較がひと目で行えるヒエラルキー図公開―Nvidia「RTX 4090」全条件でTOPという結果に | Game*Spark - 国内・海外ゲーム情報サイト
GeForce RTX 4080 12GBが発売中止。NVIDIA「名前が紛らわしいため」
新型グラフィックボード「RTX4090」がPS5と同等のビッグサイズでマザーボード"が"支えられる新時代へ突入
“ペタ”FLOPSの性能を実現したモンスターGPU「NVIDIA H100」
