自宅PCでもAIはここまで動く！ VRAM 16GBのGeForceで動かす「画像で会話」の大規模言語モデル【イニシャルB【特別編】】[Sponsored]
![自宅PCでもAIはここまで動く！ VRAM 16GBのGeForceで動かす「画像で会話」の大規模言語モデル【イニシャルB【特別編】】[Sponsored]](https://cdn-ak-scissors.b.st-hatena.com/image/square/e323ee4afd275297632465d779bdf8c7a6df3897/height=288;version=1;width=512/https%3A%2F%2Finternet.watch.impress.co.jp%2Fimg%2Fiw%2Flist%2F1527%2F680%2F001.jpg)
アメリカの大手半導体メーカー「エヌビディア」の創業者が総理大臣官邸で岸田総理大臣と面会しました。生成AIの開発に欠かせないデータセンターの整備などを進める日本企業と連携し、必要な半導体を供給していく考えを示しました。 来日しているアメリカの大手半導体メーカー「エヌビディア」の創業者でもあるジェンスン・フアンCEOは4日午後、総理大臣官邸を訪れ、岸田総理大臣と面会しました。 エヌビディアは、生成AIなどに使われる「GPU」と呼ばれる多くの計算を同時に行える高性能な半導体の開発で強みを持っています。 面会で岸田総理大臣は、フアンCEOにGPUの日本への安定供給を求めたということです。 これに対しフアンCEOは、必要なGPUをできるかぎり提供したいと応じたうえで、生成AIの開発に欠かせない、大量のデータを処理するデータセンターの整備や大規模な言語モデルを手がける日本企業と連携する考えを示しました
iPhone 15 ProのA17 ProチップはシングルコアスコアがIntelのi9-13900KやAMDの7950Xに迫るハイスコアであることが明らかに
Appleが2023年9月13日に開催した新製品発表イベントで発表された「iPhone 15 Pro/15 Pro Max」には、A17 Proチップが搭載されています。このA17 Proは、PC向けのCPUであるIntelの第13世代Core i9プロセッサi9-13900Kや、AMDのRyzen 9 7950Xに近しいシングルコアパフォーマンスを発揮することが明らかになっています。 Apple's A17 Pro Within 10% of Intel's i9-13900K, AMD's 7950X in Single-Core Performance | Tom's Hardware https://www.tomshardware.com/news/apples-a17-pro-challenges-core-i9-13900k-ryzen-7950x-in-single-cor
1つの大きなLLM（大規模言語モデル）を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 LLM群雄割拠の時代 昨今、ローカルGPUで駆動できるようなLLM（大規模言語モデル）もかなり増えてきて、キャッチコピー的に「ついに我が家にもGPT-4が！」とか言われるようになってまいりました。パラメータ規模で言えば70億～130億(7B-13B)パラメータ、700億(70B)パラメータ、1400億(140B)パラメータあたりのモデルが活発にリリースされているように見受けられます。 大きなモデルをGPU寄せ集めしつつ遊びたい！ しかしながら、コンシュマー向けのGPUにおいては、7B
メタ株が急落、「フェイスブックは国民の敵」とトランプ発言で | Forbes JAPAN 公式サイト（フォーブス ジャパン）
フェイスブックとインスタグラムの親会社であるメタの株価は3月11日、トランプ前大統領がフェイスブックを「国民の敵」と酷評したことを受けて急落した。 メタの株価は11日、約4.5％下落して先月末以来の安値の484ドル弱に沈み、昨年7月20日以降で最悪のパフォーマンスを記録した。 この急落は、トランプの11日朝のCNBCの番組でのコメントを受けてのものだ。彼は、国家の安全保障上の懸念から中国バイトダンスのTikTokを米国政府が禁止すれば「米国民の敵であるフェイスブック」に大きな追い風を与えることになると発言した。 メタの株価は、今から2カ月足らず前の1月19日に史上最高値を更新した後にさらに上昇しており、2月1日に開示した2023年第4四半期の売上高と純利益はともに過去最高を記録していた。同社の株価は、年初から29％近く上昇しており、拡張現実（AR）と仮想現実（VR）への取り組みに起因する損
【シリコンバレー=渡辺直樹】米エヌビディアが生成AI（人工知能）を動かすのに使う半導体で一人勝ちとなっている。23日に発表した2023年5〜7月期の純利益は前年同期比約9倍に急拡大し、前期の通期純利益を四半期だけで稼いだ。AIブームの波に乗る一方で、製品は供給不足で争奪戦となっており、中長期では米中対立リスクも抱える。「新しいコンピューターの時代が始まった」。エヌビディアのジェンスン・ファン最
『NVLink Bridgeで複数GPUを繋いだら、それらが1GPUとして扱えるようになるんでしょ？』という誤解をされているお客様をしばしばお見受けいたします。こちらの記事では、それが誤解であること、また、SLIやUnified Memoryといった関連する情報についても整理して解説いたします。間違った期待を抱いて失敗しないように、正しい理解を深めていきましょう。 GPUのメモリ空間は他デバイスから隔絶されています GPU上には演算するためのプロセッサと、データを一時的に置いておくためのメモリ(VRAM)が搭載されています。GPUのメモリを、CUDAで書かれたプログラムから利用するには、cudaMallocでメモリ領域を確保し、cudaMemcpyを使ってホスト(CPU側)のメモリとデータの送受信を行い、GPU上で演算kernelとする関数（以下、GPU-Kernel）を呼び出し、最後にc
【シリコンバレー=渡辺直樹】米半導体大手エヌビディアが21日発表した2023年8〜10月期決算は、純利益が前年同期比約14倍の92億4300万ドル（約1兆3700億円）だった。売上高は約3倍の181億2000万ドルで、ともに過去最高だった。生成AI（人工知能）を動かすのに使う半導体の需要が急拡大した。一方、米国の半導体輸出規制が懸念材料になっている。同日発表した23年11月〜24年1月期の売上
スーパーコンピューターで日本がトップに立ち続けていたら今ブームのAIに繋がったのか？ それともスパコンとAIは関係ない？ 脱Android、Huaweiが独自OS「HarmonyOS NEXT」てのがニュースなったけど これもスパコン技術が応用されてそこから生まれてたりするの？ スパコン予算をすべてに優先してたら日本産独自OSとか日本産AIに繋がってたんだろうか？ つながらない OSはもうぜんぜんまったく完璧に関係ないのでAIについてだけ説明する まず2010年代に始まった第3次AIのブームはソフトウェアというかアルゴリズムのブレークスルーがきっかけ カナダのYoshua Bengio、Geoffrey Hinton、Yann LeCunの3人がディープニューラルネットワークに関する発見をしたこと 3人はこの業績で「ディープニューラルネットワークがコンピューティングの重要な要素となるた
「皆さんがスマートフォンで何かを検索するだけでデータセンターのコンピューターが働いている」 国内の電力需要は減少傾向にありましたが、生成AIの急速な普及などに伴い、一転して増加が見込まれています。 こうした中、国の中長期的なエネルギー政策の指針「エネルギー基本計画」の見直しの議論が始まりました。 目次 データセンター建設相次ぐ なぜ？ 生成AIの急速な普及 電力需要に影響も
Pythonのように書けてGPU上で並列処理できる新プログラミング言語「Bend」、2D画像→3Dを高精度生成するGoogle「CAT3D」など重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第47回目は、生成AI最新論文の概要5つを紹介します。 生成AI論文ピックアップ GPU上でネイティブ動作する並列処理が可能な新プログラミング言語「Bend」とランタイムシステム「HVM2」 2D画像から3Dコンテンツを生成する「CAT3D」をGoogleが開発 大規模言語モデルは追加学習や新知識で幻覚生成が増加。Googleなどが調査 画像とテキストを使った長文生成が得意なAIモデル「Chameleon」をMetaが開発 Transformerを超える「Mamba」は視覚認識タスクに必要か？ 開発した「MambaOut」モデルで検証 GPU上でネイティブ動作する並列
Storybook 8
Storybook is the industry standard UI tool for building, testing, and documenting components and pages. It’s used by thousands of teams globally, integrates with all major JavaScript frameworks, and combines with most leading design and developer tools. Today, I’m thrilled to announce the release of Storybook 8! This latest version of Storybook brings together 8,865 commits across 773 PRs from 218
新型「iPad Pro」がM3チップをスキップした理由 現地でM4チップ搭載モデルと「iPad Air」に触れて驚いたこと
新型「iPad Pro」がM3チップをスキップした理由 現地でM4チップ搭載モデルと「iPad Air」に触れて驚いたこと：本田雅一のクロスオーバーデジタル（1/6 ページ） Appleが行った新しいiPadシリーズの発表は、実に多くの情報を含んだものだった。その全体像は、発表された製品のレポート記事にある通りだ。 →iPadに“史上最大”の変化 「Appleスペシャルイベント」発表内容まとめ 発表に伴うスペシャルイベントは米国のニューヨーク、イギリスのロンドン、そして中国の上海（翌日開催）の世界3拠点で行われる大規模なものになった。事前のうわさ通り「iPad Pro」が刷新された他、M2チップを搭載した上で13インチモデルも追加された「iPad Air」、そして日本では1万円値下げされた「iPad（第10世代）」など、iPadに焦点を絞ったとは思えないほどに“盛りだくさん”だったといえる
3行でまとめると LLM分散学習ハッカソンに参加し、Vision-Languageモデルの一つであるBLIP2のHuggingFaceモデルを拡張して動画からテキスト生成するVideoBLIPを作成しました。ソースコードはGithubで公開しています。 運転映像に対する説明文章を学習に用いてVideoBLIPの学習を行い、運転映像を説明するモデルを作成しました。（以下のように運転映像に対して説明文が出力されます） 学習を高速化するためにマルチノードで学習を行えるようにし、実際にABCIのGPU80台を使って分散学習を行い、4GPUで行った場合の20倍の計算速度が実現できました（Strong Scaling!） 分散並列学習にはDeepSpeedを用いました。 はじめに Brain Researchチームで自動運転AIを開発している棚橋です。Brain Researchチームではレベル5の完
Intel“逆襲”の鍵はやはり「AIプロセッサ」か 次世代CPU「Core Ultra（Meteor Lake）」を解説（後編）
Intel“逆襲”の鍵はやはり「AIプロセッサ」か 次世代CPU「Core Ultra（Meteor Lake）」を解説（後編）（1/4 ページ） Intelは9月19日（米国太平洋夏時間）、モバイル向け次世代CPU「Core Ultraプロセッサ」（開発コード名：Meteor Lake）のアーキテクチャの詳細を発表した。 発表に先駆けて技術説明会に参加した筆者は、その詳細を2つの記事に分けて紹介することにした。前編は、読者からの関心が特に高いであろう、CPUコアにまつわる特徴を中心に解説している。 →前編の記事 前編で取り上げたことを軽くおさらいすると、以下の通りとなる。 Meteor Lakeは「タイルアーキテクチャ」という、Intel独自のチップレット技術を採用 タイル（チップレット）は「Compute」「Graphics」「I/O」「SoC」の4つ Compute Tileは、基本
はじめに Metaが新しく公開したLLMの性能が他の最新モデルに匹敵する性能となっており、ベンダーから提供されるAPIを使わずに、自分のPC上でLLMを動かしたい欲求が高まりました。 ローカルでLLMを動かすメリットとして、以下が考えられます。 従量課金制のAPIの費用を気にしなくて良い (※PCの電気代はかかるが) 個人情報を第三者に送信しないので、プライバシー面を考慮する必要がない LM Studio ローカルでLLMを動かす懸念として、環境構築など準備に時間がかかることが一つ挙げられます。 そこで、便利なツールを探していたところ、LM Studioを発見しました。 このツールは、GUI上でLLMの取得から起動までをボタンクリックで進めることができます。 さらに、チャットのUIやローカルサーバの起動・Pythonコード例の提示までしてくれる便利ツールとなっていました。 操作手順 使用し
生成AIを開発するデータセンターが日本で新たに整備される。 その場所は北海道石狩市。今回、取材機会を得て現地に向かった。 「データセンターの内部を取材するのは初めてです」 思わずそう口にした私の目の前に現れたのは、のどかな北海道の風景にそびえ立つ真っ黒の巨大な建物だった。 厳重なセキュリティーシステムに守られた建物の内部に入り、さらに合計6つのセキュリティゲートを通った先に生成AI開発のためのその部屋はあった。 （経済部記者 名越大耕）
［GDC 2024］CPUを使わずにGPUが自発的に描画するパイプライン「Work Graph」がDirectX 12に正式採用
［GDC 2024］CPUを使わずにGPUが自発的に描画するパイプライン「Work Graph」がDirectX 12に正式採用 ライター：西川善司 セッションタイトルを訳すなら，「ようこそ，未来のGPUプログラミングモデル『GPU Work Graph』へ」 米国時間2024年3月18日に行われたGDC 2024の技術セッション「Advanced Graphics Summit: GPU Work Graphs: Welcome to the Future of GPU Programming」において，AMDとMicrosoftは共同で，DirectX 12の新機能「Work Graph」を発表した（関連リンク）。本稿では，Work Graphとは何で，どのような利点をもたらすのかを解説したい。 セッションを担当したMicrosoftのShawn Hargreaves氏（Dev Man
FabyΔ @FABYMETAL4 メタラー兼業投資家。2013年にNVIDIA $NVDA に150万円投資し10年間ガチホ中。2024年、生成AIの登場によるNVIDIA GPU需要増で 150万円→4億円 (280倍) を達成。米国企業分析、決算分析、AIトレンド、特にNVIDIAに関する情報発信をしています。たまにメタル界隈にPOPします🤘 FabyΔ @FABYMETAL4 本日、ガチホ10年目のNVIDIAが150万円→4億円(280倍)を達成しました。NVIDIAには感謝の一言に尽きます。ありがとう $NVDA pic.twitter.com/WEnJm1Ks8K x.com/fabymetal4/sta… 2024-06-06 05:46:25 FabyΔ @FABYMETAL4 本日、保有10年目のNVIDIAが 円換算で150万円→3億円(200倍)となりました。 先
パスワードレス認証を採用するコンシューマー向けサービスが増えてきたが、まだパスワードから離れられないのが現状だ。ある調査から、最近の「パスワード破り」の手口が見えてきた。 ネットサービスのログイン時に求められるパスワードの入力。パスワードの設定は適度な長さと推測されにくいものを、というのが定石だ。 サービスごとにいちいちパスワードを変更するのも面倒なため、同じパスワードを使い回している人も少なくないだろう（セキュリティ対策上は避けるよう勧告されている）。ただ、1つのサービスでパスワードが流出すると、一気に他のサービスのアカウントも乗っ取られる恐れがある。 悪意あるハッカーたちは、いつでもユーザーのパスワードを手ぐすね引いて狙っている。あるものを活用することで、ハッシュ値化されたパスワードでも容易に解析されてしまう恐れがあるという。 サイバーセキュリティ企業であるHive Systemは20
現在シリコンバレーで最も注目される話題は「GPU不足」といわれている。生成AIへの関心が高まる中、大規模言語モデルの開発が活発化し、それに伴いGPUをめぐる取得競争が激化しているためだ。そのため、NVIDIAが新たに発表した「GH200」にも注目が集まる。GH200はどんなGPUになるのか。そもそもなぜGPUが不足しているのか、現行GPU「H100」や「A100」は誰が、何個取得したのか、ChatGPTの開発にGPUはどれほど必要なのか。GPU関連の注目トピックを紹介しよう。 バークリー音大提携校で2年間ジャズ／音楽理論を学ぶ。その後、通訳・翻訳者を経て24歳で大学入学。学部では国際関係、修士では英大学院で経済・政治・哲学を専攻。国内コンサルティング会社、シンガポールの日系通信社を経てLivit参画。興味分野は、メディアテクノロジーの進化と社会変化。2014〜15年頃テックメディアの立ち上
NVIDIAが「消費電力1000Wの爆熱GPU」を開発中か
世界有数のPCメーカーであるDellの決算発表会で「NVIDIAが消費電力1000WのGPUを開発している」という旨の発言が飛び出しました。 Exhibit 99.1 Earnings 8K Q4 FY24 - Q4 FY24 Financial Results Press Release.pdf (PDFファイル)https://investors.delltechnologies.com/static-files/12b9be7b-2d4c-4d63-b7d3-8bb467724952 Dell exec reveals Nvidia has a 1,000-watt GPU in the works • The Register https://www.theregister.com/2024/03/05/nvidias_b100_gpu_1000w/ 「NVIDIAが消費電力100
こんにちは、23卒の新卒エンジニアのfujinoです。今回は弊社のサービスでReactのフレームワークであるRemixを使い始めた話をしようと思います。 背景 弊社では今までVue.jsのフレームワークであるNuxt.jsを用いてフロントエンドを実装していました。 これは、採用当時は生のhtmlが使えるのが良いと思っていたことや、Vue.jsの経験のあるフロントエンジニアがチームにいたことが理由でした。 しかし、最近ではTypescriptとの親和性や、コミュニティの大きさなどの理由からReactの方が勢いがあるように感じます。 弊社でも少し前からReactに移行することを決定し、現在進行形でNuxt.jsからReactへの移行プロジェクトを進めています。 Reactの主要なフレームワークとして、Next.jsとRemixが挙げられます。 両者の違いとして、Next.jsはSSG（Stat
以下の記事が面白かったので、かるくまとめました。 ・Methods and tools for efficient training on a single GPU 1. LLMを単一GPUで効率的に学習する方法大規模モデルの学習では、次の2つを考慮する必要があります。 ・スループット・学習時間 ・モデルのパフォーマンス 「スループット」 (サンプル / 秒) を最大化すると、学習コストの削減につながります。これは通常、GPUメモリを限界まで利用することで実現されます。必要なバッチサイズがメモリオーバーする場合は、「Gradient Accumulation」などの「メモリの最適化」が必要になります。 ただし、「推奨バッチサイズ」がメモリに収まる場合は、学習が遅くなる可能性があるため、「メモリの最適化」を適用する必要はありません。どのバッチサイズが最良の結果をもたらすかを決定し、それに応じ
NTTは2023年11月、同社が独自開発した大規模言語モデル（LLM）「tsuzumi」を2024年3月から提供開始すると発表した。 tsuzumiのコンセプトについて、NTT 執行役員 研究企画部門長の木下真吾氏は「専門知識を持った、パラメーターサイズの小さなLLMの実現だ。tsuzumiは、パラメーターサイズを抑えつつ、言語学習データの質と量を向上させることで、軽量化と専門性を両立した」と語った。 専門知識を持った軽量LLM「tsuzumi」 tsuzumiは、パラメーターサイズが6億または70億と軽量でありながら、「世界トップクラス」（同社）の日本語処理性能を持つLLMだ。軽量なため、1つのGPUやCPUで推論動作が可能で、学習やチューニングに必要な時間やコストを軽減できるという。日本語／英語に対応する他、表が含まれる誓約書や契約書といった図表文書の視覚読解など、さまざまな形式にも対
Cloud RunとCloud PubSubでサーバレスなデータ基盤2024 with Terraform / Cloud Run and PubSub with Terraform
Google Cloudのサーバレスなサービスでデータ基盤を作った話.
【シリコンバレー=山田遼太郎】米半導体大手エヌビディアが22日発表した2024年2〜4月期決算は純利益が前年同期と比べ7.3倍の148億8100万ドル（約2兆3300億円）、売上高が同3.6倍の260億4400万ドルだった。市場予想を上回り、人工知能（AI）向け半導体の需要の強さを示した。日米などの株式市場で半導体関連銘柄の押し上げ要因になりそうだ。市場予想は24年2〜4月期の売上高が246億
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
エヌビディア創業者が岸田首相と面会 “必要な半導体を供給” | NHK
Lion CoveとSkymontの詳細が明らかに。Hyper-Threading「非対応」で電力効率爆上げ
「Stable Diffusion 3 Medium」がついに解禁、一般的なGPUでも効率よく動作する2Bモデル／フォトリアリズムを実現、NVIDIAとの提携によりパフォーマンス50％向上
Radeon上でStable Diffusionの性能を9.9倍にする最適化手法。AMD公開
【大原雄介の半導体業界こぼれ話】 同じ「チップレット」でも、明暗が分かれたIntelとAMD
【Ubuntu日和】 【第42回】RadeonだってStable Diffusionは高速だ。そう、Ubuntuならね
NVIDIA純利益9倍、AI用半導体で一人勝ち 供給に不安も - 日本経済新聞
NVLink BridgeでGPUを繋いでも1GPUにはなりません | HPCシステムズ Tech Blog
NVIDIA純利益14倍 8〜10月、AI半導体で急拡大続く - 日本経済新聞
スーパーコンピューターで日本がトップに立ち続けていたら今ブームのAIに繋..
生成AI“急速普及”電力需要が増加？どうなる今後のエネルギー | NHK
【西川和久の不定期コラム】 自前でStable Diffusion用美女モデル作成の後日談。そしてVRAM 80GBのA100も使ってみた！
走行動画を説明するLLMを作成し、80台のGPUで分散並列学習させた話
準備0でローカルLLMを動かす(LM Studio)
メモリ型の「Raspberry Pi Compute Module 4S」登場
生成AIデータセンターに記者が “潜入” | NHK | ビジネス特集
10年前、150万円で買ったNVIDIA株が4億円になった人の話→「私なら10倍くらいで手放してしまう…」
恐るべし、今どきの「パスワード破り」の手口：780th Lap
生成AIでGPU不足深刻化、NVIDIA新投入のGH200とは？ メタやテスラが抱える驚きのGPU数
Raspberry Pi PicoでGPUを作る。element14が動画を公開
Remixを使い始めた話 | Money Forward Kessai TECH BLOG
大規模モデルを単一GPUで効率的に学習する方法｜npaka
【西川和久の不定期コラム】 VRAM倍増の24GB計画！……その結果！？
NVIDIA「Chat With RTX」を、RTX4060搭載ノートPCで動かす〜ローカルLLMでRAGを実現【イニシャルB】
1つのGPU／CPUで推論可能な超軽量LLM「tsuzumi」を24年3月から提供へ
富士通、プログラム処理中でもCPUとGPUを切り替える世界初の技術。GPU不足に対応
【特集】 Amazonで売っている激安Androidタブレットはどこまで使い物になるのか？ゲームやYouTube視聴で検証してみた
ハイエンドノートの性能を決めるのは、CPU/GPUそのものよりも"その冷却能力"という事実 ～薄型/軽量で高性能なASUS「Zenbook Pro 14 OLED UX6404VI」で実際に検証[Sponsored]
![ハイエンドノートの性能を決めるのは、CPU/GPUそのものよりも"その冷却能力"という事実 ～薄型/軽量で高性能なASUS「Zenbook Pro 14 OLED UX6404VI」で実際に検証[Sponsored]](https://cdn-ak-scissors.b.st-hatena.com/image/square/7c3eb85a6cdf91cf14fd51d3cd7885ace2aeac89/height=288;version=1;width=512/https%3A%2F%2Fpc.watch.impress.co.jp%2Fimg%2Fpcw%2Flist%2F1552%2F637%2Fimage01a.jpg)
NVIDIA､2〜4月売上高3.6倍 AI半導体「1強」予想上回る - 日本経済新聞