米、エヌビディアの独禁法調査開始 ＡＩ半導体巡り＝報道
米司法省は半導体大手エヌビディアが人工知能（ＡＩ）用半導体の販売で優越的地位を乱用した可能性があるとする競合の苦情を受け、同社に対する調査を開始した。米メディア「ジ・インフォメーション」が１日報じた。台北で６月撮影（２０２４年 ロイター／Ann Wang） [１日 ロイター] - 米司法省は半導体大手エヌビディア(NVDA.O), opens new tabが人工知能（ＡＩ）用半導体の販売で優越的地位を乱用した可能性があるとする競合の苦情を受け、同社に対する調査を開始した。米メディア「ジ・インフォメーション」が１日報じた。
米エヌビディア、日本に開発拠点設置の意向＝西村経産相
１２月１０日、ベトナム政府は、米半導体大手エヌビディアのジェンスン・ファン最高経営責任者（ＣＥＯ）の話として、同社がベトナムの半導体産業の開発に向け、現地拠点の設立を目指していると明らかにした。台北で５月撮影（２０２３年 ロイター/Ann Wang） ［東京 ５日 ロイター］ - 西村康稔経済産業相は５日の閣議後会見で、米半導体大手エヌビディア(NVDA.O), opens new tabのジェンスン・フアン最高経営責任者（ＣＥＯ）から、日本における研究開発拠点の設置の意向が示されたことを明らかにした。大規模言語モデルに加えて、日本が強みを持つロボティクスの分野でのモデル開発に「強い期待感が寄せられた」という。 西村経産相は会見に先立ち、都内でフアンＣＥＯと面会した。エヌビディアと産業技術総合研究所との連携強化についても協議し、今後具体策を詰める。産総研はこれまでもエヌビディアからＧＰＵ（
自作PCにGPUを2枚挿して13BのLLMを動かす話 | cloud.config Tech Blog
この記事は FIXER Advent Calendar 2023 - Adventar 23日目の記事です。 はじめにこんにちは、毛利です。この記事では趣味用の自作PCにGPUを2枚挿してサイズが13BのLLMを動かす話をします。 LLMのパラメータ数と推論に必要なメモリ量についてまず初めに、LLMのパラメータ数に対して、推論に使う場合にどれぐらいのメモリが必要なのかを話します。ここで言うパラメータ数は7B(70億)、13B(130億)、70B(700億)といったものです。 精度によっても変わってくるのですが、配布されるモデルの精度としてはbfloat16であることが多いです。この場合は、1パラメータあたり2byteになるので、～Bの部分を2倍したGBが要求されると考えればよいです。例えば、7BのLLMであれば14GB、13BのLLMであれば26GBなどとなります。逆に4bit量子化等が行
世界有数の資産運用会社が、人工知能（ＡＩ）の次の勝ち組を米国外に探そうとしている。 ＡＩに対する世界的な熱狂を背景に米半導体大手エヌビディアの株価は１年足らずで３倍になり、半導体企業を対象とする米国の主要指数であるフィラデルフィア半導体株指数は50％上昇。そうした中、投資家はより良いバリューとより多くの選択肢を求めて新興国市場に注目している。 米ゴールドマン・サックス・グループの資産運用部門は、特に冷却システムや電源といったＡＩサプライチェーンの構成要素を製造する企業への投資を模索していると説明。ＪＰモルガン・アセット・マネジメントは、従来の電子機器メーカーの中でＡＩのリーダーへと変貌しつつある企業を選好。またモルガン・スタンレーでは、非テクノロジー分野の事業モデルをＡＩで再構築している企業に賭けている。
米エヌビディアを起点にした人工知能（AI）関連株の物色が半導体メモリー株に及んでいる。生成AI向けの画像処理半導体（GPU）に組み込む高性能メモリーの需要が急拡大しているためだ。5日にはメモリー大手、韓国サムスン電子が4〜6月期決算の速報値を公表する。半導体株相場の行方を占いそうだ。メモリー株では、韓国SKハイニックスと米マイクロン・テクノロジーの上昇が目立つ。SKの株価は2023年末比で66
QualcommがPC向けハイエンドSoC「Snapdragon X Elite」を発表 CPUもGPUもNPUも高速なのに省電力
Snapdragon X Eliteの概要 Snapdragon X Eliteは「Performance Reborn（パフォーマンスの復活）」を標榜し、CPUコア、GPUコアやNPU（AIプロセッサ）コアなどを強化することで、x86アーキテクチャのSoC（CPU／APU）を上回るパフォーマンスを発揮しつつ、高い省電力性を確保したという。製造プロセスは4nmとなっている。 CPUコアは「Qualcomm Oryon」を12基搭載している。最大3.8GHzで稼働するが、1～2コアに限り稼働クロックを最大4.3GHzまで引き上げられる「ブーストアップ機能」も備えている。 従来のPC向けSnapdragonではパフォーマンス重視のCPUコアと省電力（高効率）重視のCPUコアを混載する「big.LITTLEアーキテクチャ」を取っていたが、本SoCではパフォーマンス重視コア（＝Oryon）のみを搭
今度のSUPERはどうだ？ 17万円切りで4Kでも快適に使える「GeForce RTX 4080 SUPER」を試す
今度のSUPERはどうだ？ 17万円切りで4Kでも快適に使える「GeForce RTX 4080 SUPER」を試す（1/4 ページ） NVIDIAが1月9日（米国太平洋時間）に発表した新型GPU「GeForce RTX 40 SUPERシリーズ」を搭載するグラフィックスカードの販売が、1月17日から順次始まっている。 →NVIDIAが「GeForce RTX 40 SUPER」シリーズを発表 ゲームと生成AIを高速化 599ドルから その第3弾として「GeForce RTX 4080 SUPER」を搭載するグラフィックスカードが1月31日に発売される。日本における想定販売価格は16万2800円（税込み）からとなる。 今回、発売に先駆けて同社から自社設計のグラフィックスカード「GeForce RTX 4080 SUPER Founders Edition」（日本未発売）を借用できたので、そ
Installing the NVIDIA Container Toolkit — NVIDIA Container Toolkit 1.14.3 documentation
$ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \ sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \ sudo tee /etc/apt/sources.list.d/nvidia
いまだに多くの12VHPWRコネクタが融解。ある修理業者は毎月100枚ものGeForce RTX 4090を修理 | ニッチなPCゲーマーの環境構築Z
いまだに多くのGeForce RTX 4090の12VHPWRコネクタが融解している模様です。海外メディアのTom’s Hardwareが報じました。 GeForce RTX 4090の12VHPWRコネクタの融解が最初に報告されてから1年以上経ってもこの悲劇は続いている。 修理業者であるNorthridgeFixの修理担当者は、今でも毎月100枚もの12VHPWRコネクタが融解・故障したGeForce RTX 4090を修理しているという。修理担当者は「私たちは毎週20～25枚の(壊れた)GeForce RTX 4090の修理依頼を受けている」と述べている。この量は、いかにこの問題が広範囲にわたっているかを浮き彫りにしている。 融解した12VHPWRコネクタ 2022年11月、NVIDIAはGeForce RTX 4090の電源コネクタが融解する原因は、いわゆるコネクタの『半差し』に起因
３月１８日、米半導体大手エヌビディアは同日開幕した年次開発者会議「ＧＴＣ２０２４」で、人工知能（ＡＩ）向け旗艦チップ「ブラックウェルＢ２００」を発表した。２０２３年３月撮影（２０２４年 ロイター/Dado Ruvic） [サンノゼ（米カリフォルニア州） １８日 ロイター] - 米半導体大手エヌビディア(NVDA.O), opens new tabは１８日開幕した年次開発者会議「ＧＴＣ２０２４」で、人工知能（ＡＩ）向け旗艦チップ「ブラックウェルＢ２００」を発表した。従来製品より最大３０倍高速という。
ASRock製のインテル Arc搭載ビデオカードを使って、画像生成系AIのパフォーマンスを検証。環境設定の仕方から解説する 「インテル Arc Aシリーズ」（以下、インテル Arc）は2022年の発売以降、ドライバーのアップデートを繰り返し、性能を高めている。昨年末に掲出した、ASRock製インテル Arc搭載ビデオカードの検証記事（https://ascii.jp/elem/000/004/177/4177741/）では、ゲームにおいての性能アップも確認できた。 一方で、昨今のGPUはゲームを快適に遊ぶためだけのものではない。特に最近は、GPUメーカー自身が画像生成系AIで自社のGPUが使えるかをアピールするようになった。この分野ではCUDAが利用できるNVIDIAのGeForceの情報量が多いが、インテル Arcではその辺りのパフォーマンスはどうなのだろうか？ ASRockの「AI Q
はじめに 96GB以上のUnified Memoryを積んだApple Siliconマシーンをお持ちの人向けのニッチな記事です。 MLXを使って、話題の⌘R+ (Command R+)を使ったローカルで動作するチャットbotをクイックに作ってみました。途中で何点かつまづいたので、困っている人に届いたら嬉しいです。 以下の記事を参考にさせてもらいました。 環境 Apple M3 MAX (128GB) 推論中のpythonプロセスのメモリ消費量は62GB程度でした。Unified Memory 64GBでスワップしながらギリ回るくらいですかね Python 3.10 (3.11, 3.12でも動作しました) 最初、Python 3.9環境で動かそうとしてコケました。エラーメッセージは以下の具合です。 ValueError: Received parameters not in model:
「クラウド→AI PC」時代に台頭するのは？ NVIDIAとの協業で注目が集まる企業：世界を読み解くニュース・サロン（1/4 ページ） 2024年6月4日から台湾で開催された、台北国際コンピュータ見本市（COMPUTEX＝コンピューテックス）。アジア最大規模のICT見本市のCOMPUTEXは「世界最先端の知識がぶつかり合い、交流するプラットフォームとして、さらなるイノベーションの灯を生み出します」という触れ込みで、世界から1000社以上が参加した。 筆者も取材で「COMPUTEX TAIPEI 2024」に参加した。今年の目玉の一つは、生成AIの拡大を支える米NVIDIA（エヌビディア）の名物CEOであるジェンスン・フアン氏の基調講演だった。黒い革ジャンがトレードマークである、台湾生まれのフアン氏は、台湾ではメディアでもロックスター並みの扱いで、AIに対する世界の注目度がよく分かる。 最近
よくわからなかったので、調べて整理しようとした試み。 Compute Capability GPU ハードウェアがサポートする機能を識別するためのもので、例えば RTX 3000 台であれば 8.6 であるなど、そのハードウェアに対応して一意に決まる。 アーキテクチャの世代が新しくなり、機能が増えるほど、この数字も上がっていく。 以下のリンク先に、Compute Capability と機能の対応表があるが、これを見ると（少なくとも執筆時点で） Compute Capability 7.x 以上でテンソルコアが使えるといったことがわかる。 それぞれの機種がどの値かは以下のサイトから確認できる。 NVIDIA Driver のバージョン Compute Capablity 一般向けの Compute Capability との関連性は見つからなかったが、データセンタ向けの資料には Maxwe
![[CUDA] NVIDIA GPUやCUDA周りの互換性を理解したかった](https://cdn-ak-scissors.b.st-hatena.com/image/square/85cf8361e193b6c85a85ff11f6be3131360d96e7/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--Zly7bMhc--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BCUDA%25255D%252520NVIDIA%252520GPU%2525E3%252582%252584CUDA%2525E5%252591%2525A8%2525E3%252582%25258A%2525E3%252581%2525AE%2525E4%2525BA%252592%2525E6%25258F%25259B%2525E6%252580%2525A7%2525E3%252582%252592%2525E7%252590%252586%2525E8%2525A7%2525A3%2525E3%252581%252597%2525E3%252581%25259F%2525E3%252581%25258B%2525E3%252581%2525A3%2525E3%252581%25259F%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Aeduidl%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzJkNDMwMDk1NTYuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
エヌビディアに続くＡＩ勝ち組を探せ－ウォール街が新興国市場に照準
Colaboratory on X: "Colab now has NVIDIA L4 runtimes for our paid users! 🚀 24GB of VRAM! It's a great GPU when you want a step up from a T4. Try it out by selecting the L4 runtime! https://t.co/3DDp9gxG8D"
半導体株物色、NVIDIAの次はメモリー 上昇率が指数の２倍 点検 半導体株 - 日本経済新聞
エヌビディア、旗艦ＡＩ半導体発表 30倍高速化で競合引き離しへ
インテル Arcで画像生成系AI入門！設定方法とパフォーマンス検証でArc×生成AIを解説 (1/3)
MLXと⌘R+ (Command R+)でローカルチャットbotを動かしてみた
ASUSの「ROG Strix」、「TUF Gaming」、「ProArt」のビデオカードは何が違う？ RTX 4070 Ti SUPERで“性能”と“冷却力”を徹底比較！[Sponsored]
![ASUSの「ROG Strix」、「TUF Gaming」、「ProArt」のビデオカードは何が違う？ RTX 4070 Ti SUPERで“性能”と“冷却力”を徹底比較！[Sponsored]](https://cdn-ak-scissors.b.st-hatena.com/image/square/5dc6ab95e2b886af61febbc3da25be4431f63ecd/height=288;version=1;width=512/https%3A%2F%2Fakiba-pc.watch.impress.co.jp%2Fimg%2Fah%2Flist%2F1577%2F847%2Ftop.jpg)
「クラウド→AI PC」時代に台頭するのは？ NVIDIAとの協業で注目が集まる企業
[CUDA] NVIDIA GPUやCUDA周りの互換性を理解したかった