1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
ブースは、韓国の音声AI企業Supertoneが出展したもの。角刈りオジサンの美少女ボイスは、リアルタイム音声変換ソフト「SHIFT」のデモによるものだった。このSHIFT、少女だけでなく少年、成人女性、成人男性、渋いおじいさん、悪魔などさまざまな声がプリセットされており、リアルタイムかつ高精度に声を変換できるのが特徴。 独自の音声合成基盤モデル「NANSY」（Neural Analysis & Synthesis）を採用しており、ユーザーの声の事前学習も、10秒程度のサンプルスクリプトを読み上げるだけで完了。ユーザーとキャラクターの音声の混合比率や感情の表現度合い、音の高低なども細かく調整可能だ。 同様の技術として「RVC」（Realtime Voice Changer）などが有名だが、快適に利用するにはNVIDIAの高性能なGPUを必要とする。一方、SHIFTはCPUのみで47ミリ秒と
はじめに WSL2（Windows Subsystem for Linux 2）は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。 この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。 構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。 今回開発するPCのスペックは以下の通りです。 Windows 11 Windows version: 22H2 GPU：NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化 デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。 「コントロール
米AIスタートアップ「Etched」は6月25日（現地時間）、ChatGPTなど最新のAI技術の基盤となっている「Transformer」アーキテクチャーに特化したチップ「Sohu」を発表した。この発表は、現在NVIDIAが支配的な地位を占めるAIチップ市場に、新たな競争をもたらす可能性がある。 Transformer処理に特化 AIチップ市場は現在NVIDIAが圧倒的なシェアを持つ。同社の汎用GPUは様々なAIモデルを効率的に処理できる柔軟性から市場の約80%を占めている。 多くの大手テクノロジー企業がAI開発のためにNVIDIAのチップに数十億ドルを投資しているのが現状だ。 Etchedの「Sohu」は、ASIC（Application-Specific Integrated Circuit：特定用途向け集積回路）と呼ばれる、特定の用途に最適化された集積回路だ。汎用性は低いものの、特定
中島聡さん、NVIDIAのGPUが用済みになるって本当ですか？AI開発の行列乗算をなくす｢MatMul-free LM｣で気がかりなこと - まぐまぐニュース！
エヌビディアの強みであるGPUの優位性を揺るがすかもしれないAI関連の注目論文とは？人気急上昇中のメルマガ『週刊 Life is beautiful』より読者Q&Aをご紹介。著者の中島さんは「Windows95の父」として知られる日本人エンジニア。メルマガでは毎号、読者からの質問に丁寧に回答しています。 ※本記事のタイトル・見出しはMAG2NEWS編集部によるものです プロフィール：中島聡（なかじま・さとし） ブロガー／起業家／ソフトウェア・エンジニア、工学修士（早稲田大学）／MBA（ワシントン大学）。NTT通信研究所／マイクロソフト日本法人／マイクロソフト本社勤務後、ソフトウェアベンチャーUIEvolution Inc.を米国シアトルで起業。現在は neu.Pen LLCでiPhone/iPadアプリの開発。 1ビットの高速推論AIチップ 米国より先に中国が開発する可能性も 読者からの質
Unity、ゲームの最適化に関する電子書籍を無料公開。「モバイル」「コンソール/PC」向け2冊で、ボトルネックの特定方法やメモリ・GPU最適化などを解説｜ゲームメーカーズ
Unity Technologiesがゲームの最適化について解説する電子書籍を無料で公開 メモリやGPU管理、ボトルネック特定の方法などを解説したPDF資料 モバイル向けとコンソール/PC向けの2冊があり、各デバイス向け解説も Unity Technologiesは2023年12月6日、Unityにおけるゲームの最適化を解説する2冊の電子書籍を公開しました。 公開されたのは、モバイル向け開発ガイド『OPTIMIZE YOUR MOBILE GAME PERFORMANCE』と、コンソール/PC向け開発ガイド『OPTIMIZE YOUR GAME PERFORMANCE FOR CONSOLES AND PC』です。 各ガイドには、ボトルネックの特定方法やメモリ管理、プログラミングやアセット管理など、さまざまなカテゴリーにおける最適化が解説されています。また、各ガイドそれぞれに、対象デバイス
ではそもそも“1bit”とは何が1bitなのか、どうして1bitになるとGPUが不要になるのか。LLMでGPUが不要になるとどんな世界が訪れるのか。オーダーメイドによるAIソリューション「カスタムAI」の開発・提供を行うLaboro.AIの椎橋徹夫CEOに聞いた。 プロフィール：椎橋徹夫 米国州立テキサス大学理学部卒業後、ボストンコンサルティンググループに参画。消費財や流通など多数のプロジェクトに参画した後、社内のデジタル部門の立ち上げに従事。その後、東大発AI系のスタートアップ企業に創業4人目のメンバーとして参画。AI事業部の立ち上げをリード。東京大学工学系研究科松尾豊研究室にて「産学連携の取り組み」「データサイエンス領域の教育」「企業連携の仕組みづくり」に従事。同時に東大発AIスタートアップの創業に参画。2016年にLaboro.AIを創業し、代表取締役CEOに就任。 ──まず、1bi
生成AI（人工知能）に欠かせない高性能のGPU（画像処理半導体）を搭載したサーバーを大量に運用できる「AIデータセンター」は、日本にどれだけ存在するのか。日経クロステックが国内にある49社のデータセンター事業者を対象に調査したところ、18社による計画中を含む32施設があることが分かった。 今回、日経クロステックがデータセンター事業者に質問したのは、大規模言語モデル（LLM）のトレーニング（訓練）や推論に使う高性能GPUサーバーが稼働できるような施設と、その詳細だ。現時点では国内に18社が運営する26施設があり、今後さらに6施設が増える計画だ。 消費電力10kW超えのGPUサーバーを1ラックで複数台稼働 LLMのトレーニングには、米NVIDIA（エヌビディア）のAI用GPUである「H100」や「H200」を8個搭載する高性能GPUサーバーが向いているとされる。NVIDIA自身がH100を8個
最近オープンになる大規模言語モデル（LLM）が、軒並みGPT-4レベルの性能となっています Huggngfaceで無料でダウンロードできるのですが、問題は必要VRAM容量です 話題の、Command-r-Plusは、日本語性能について評価が高く、一部の性能はGPT-4並みと言われますが、さすがに大型で104Bパラメータもあるため、4bitに量子化しても60GB程度のVRAMが必要となります。 コンシューマークラスのGPUの最高峰、RTX4090は、VRAM24GBのため、command-r-plusをすべてGPUに載せて推論しようと考えると、3台のマルチGPUデスクトップが必要です しかし、RTX4090は450W消費のGPUのため冷却機構が大きく、1デスクトップに3台収めるのは至難の業となります。 先日、水冷ラジエーター付きRTX4090で、マルチGPUデスクトップを作成しました。 水冷
Appleは2024年5月に開催したイベントの中で、M2チップを搭載した新型iPad Airを発表しました。この新型iPad Airに搭載されるM2チップは、「GPUが10コア」と宣伝されていたのですが、これがひっそりと9コアにダウングレードされていることが明らかになっています。 Apple downgrades new M2 iPad Air, now says it features a 9-core GPU instead of 10-core - 9to5Mac https://9to5mac.com/2024/06/01/m2-ipad-air-gpu-core-count/ Appleは2024年5月に2年以上ぶりとなるiPad Airの新モデルを発表。この新型iPad AirはM2チップを搭載しており、GPUのコア数は「10コア」でした。 史上初の2サイズ展開になった「iPa
コードなしでWeb3コンテンツなどを開発することができるプラットフォーム・thirdwebの創設者であるadammaj氏が、「経験なしで2週間でゼロからGPUを構築した」と報告しています。 I've spent the past ~2 weeks building a GPU from scratch with no prior experience. It was way harder than I expected. Progress tracker in thread (coolest stuff at the end)👇 pic.twitter.com/VDJHnaIheb— adammaj (@MajmudarAdam) April 25, 2024 ◆ステップ1：GPUアーキテクチャの基礎を学ぶ adammaj氏はまず、最新のGPUがアーキテクチャレベルでどのように機能してい
NVIDIA製GPUの数十倍速い？ 次々に出てくる「AI専用チップ」とは何者か 識者に聞く高速化の仕組み（1/3 ページ） スタートアップ企業の米Etchedが発表した「Sohu」が、AI業界に新たな波紋を投げかけている。トランスフォーマーモデルに特化したこのAI専用チップは、米NVIDIAのH100 GPUと比較して20倍高速かつ低コストで動作すると主張しているからだ。 SohuのようなAI専用チップの登場は、AI業界にどのような変革をもたらすのか。汎用性の高いGPUから特化型チップへの移行は、AI開発のアプローチをどう変えるのか。そして、こうした専用ハードウェアの普及は、ソフトウェア開発の方向性にどのような影響を与えるのか。 オーダーメイドによるAIソリューション「カスタムAI」の開発・提供を行うLaboro.AI（東京都中央区）の椎橋徹夫CEOに、AI専用チップがもたらす可能性と課題
Supercomputing Contest 2013/GPUプログラミング資料 - Supercomputing Programing Contest Official Site
2024-08-19 MenuBar 2024-08-05 Supercomputing Contest News News/sc240731 2024-07-31 SupercomputingContest2024 2024-07-03 News/sc240703 SupercomputingContest2024/予選結果 2024-06-26 News/sc240626 2024-06-20 SupercomputingContest2024/予選・認定問題Ｑ＆Ａ 2024-06-05 News/sc240605 News/sc240605-2 2023-09-13 SupercomputingContest2023 2023-09-06 News/sc230906 2023-09-01 News/sc230830 2023-08-28 News/sc230828 Supercomp
高速なPython互換言語の「Mojo」、そのままGPUで実行可能に。「MAX GPUs」発表。ModCon '23
高速なPython互換言語の「Mojo」、そのままGPUで実行可能に。「MAX GPUs」発表。ModCon '23 高速なPython互換言語「Mojo」の開発元であるModular社は、同社として初のイベント「ModCon '23」を12月4日にサンフランシスコで開催しました。 基調講演で、高速なPython互換言語の「Mojo」を含むAI処理を高速に実行するプラットフォーム「MAX」（Modular Accelerated Xecution (MAX) Platform）がNVIDIAのGPU対応となり、さらに高速な処理が可能となる「MAX GPUs」が発表されました。
イギリスのスタートアップ「Spectral Compute」社がCUDAのプログラムを全く変更することなくAMD製GPUで実行できるようにコンパイルするツールキット「SCALE」を開発したと発表しました。 SCALE GPGPU Programming Language https://scale-lang.com/ Announcing the SCALE BETA https://scale-lang.com/posts/2024-07-12-release-announcement Spectral ComputeのCEOであるマイケル・ソンダーガード氏は「一度コードを記述すればあらゆるハードウェアプラットフォームでビルド・実行できるべき」「CPUでは長年実現されてきたのに、なぜGPUでは実現できないのか？」とSCALEの開発に至った経緯を説明。 SCALEはNVIDIAのCUDAツ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
【特集】 約30年でGPUはどのぐらい速くなったの？歴史を振り返りつつぜ～んぶ計算してみた
【レビュー】 至って普通のノートPCでもゲームがサクサク動く！ドック機能を備えた超小型GPUボックス「GPD G1」を試す
角刈りオジサンから美少女ボイス 「GPU不要で超低遅延」なリアルタイム音声変換ソフトを見てきた
【2024年版】WSL2+Ubuntu24.04+Docker＋GPUでつくる機械学習環境
「NVIDIA最新GPUの20倍速い」史上最速を謳うAIチップ「Sohu」
GPUの性能比較がひと目で行えるヒエラルキー図公開―Nvidia「RTX 4090」全条件でTOPという結果に | Game*Spark - 国内・海外ゲーム情報サイト
NVIDIA、1パッケージに2ダイの新型GPU「Blackwell」。AI性能は学習4倍、推論30倍に
生成AIでGPUがいらなくなる？ 業界を揺るがす「1ビットLLM」とは何か、識者に聞いた
これが日本のAIデータセンターだ、GPUサーバーを稼働できる18社・32施設
自宅PCでクラスターを構築：コンシューマーGPUの枠を超え、大型LLMをローカルで動かす！｜AIサトシ
初めてでもできる！ 自宅PCのGPUを「Google Colab」から使い、生成AIをカンタンに動かす方法【イニシャルB】
【レビュー】 「Ryzen AI 300」は省電力でCPU/GPUはデスクトップ並みという優秀さ。NPU搭載のRyzen AI 9 HX 370を性能検証
【西川和久の不定期コラム】 VRAMが少ないGPUで画像生成AIを諦めていた人に。「Stable Diffusion WebUI Forge」登場！
AppleがM2搭載iPad AirのGPUを10コアから9コアにひっそりダウングレード
AMD「Ryzen 8000G」発表。高性能内蔵GPUをデスクトップに
「ゼロからGPU開発」に経験なし＆わずか2週間で成功した猛者が登場
CPUもGPUもライバル完封。Qualcomm、AppleやIntelに勝利宣言
GPUからの脱却と「AI半導体」の可能性【西田宗千佳のイマトミライ】
NVIDIA製GPUの数十倍速い？ 次々に出てくる「AI専用チップ」とは何者か 識者に聞く高速化の仕組み
GPUなしでもできる画像生成AI ～Web UI「A1111」の環境構築と利用方法を伝授【生成AIストリーム】
【特集】 CPUやGPUの発熱や電力をカットする方法
CUDAのコードを全く変更せずにAMD製GPU向けにコンパイルできるツールキット「SCALE」が登場