1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。 AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。 NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。 たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである
AIの開発に欠かせない機械学習には、GPUやNPU、TPUなどの処理チップが用いられていますが、それぞれの違いは分かりにくいものです。そんなCPUやGPU、NPU、TPUの違いをGoogleやクラウドストレージサービスを展開するBackblazeがまとめています。 AI 101: GPU vs. TPU vs. NPU https://www.backblaze.com/blog/ai-101-gpu-vs-tpu-vs-npu/ Cloud TPU の概要 | Google Cloud https://cloud.google.com/tpu/docs/intro-to-tpu?hl=ja ◆CPUとは？ CPUは「Central Processing Unit」の略称で、PCでの文書作成やロケットの進路計算、銀行の取引処理など多様な用途に用いられています。CPUでも機械学習を行うこ
ブースは、韓国の音声AI企業Supertoneが出展したもの。角刈りオジサンの美少女ボイスは、リアルタイム音声変換ソフト「SHIFT」のデモによるものだった。このSHIFT、少女だけでなく少年、成人女性、成人男性、渋いおじいさん、悪魔などさまざまな声がプリセットされており、リアルタイムかつ高精度に声を変換できるのが特徴。 独自の音声合成基盤モデル「NANSY」（Neural Analysis & Synthesis）を採用しており、ユーザーの声の事前学習も、10秒程度のサンプルスクリプトを読み上げるだけで完了。ユーザーとキャラクターの音声の混合比率や感情の表現度合い、音の高低なども細かく調整可能だ。 同様の技術として「RVC」（Realtime Voice Changer）などが有名だが、快適に利用するにはNVIDIAの高性能なGPUを必要とする。一方、SHIFTはCPUのみで47ミリ秒と
はじめに WSL2（Windows Subsystem for Linux 2）は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。 この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。 構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。 今回開発するPCのスペックは以下の通りです。 Windows 11 Windows version: 22H2 GPU：NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化 デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。 「コントロール
米AIスタートアップ「Etched」は6月25日（現地時間）、ChatGPTなど最新のAI技術の基盤となっている「Transformer」アーキテクチャーに特化したチップ「Sohu」を発表した。この発表は、現在NVIDIAが支配的な地位を占めるAIチップ市場に、新たな競争をもたらす可能性がある。 Transformer処理に特化 AIチップ市場は現在NVIDIAが圧倒的なシェアを持つ。同社の汎用GPUは様々なAIモデルを効率的に処理できる柔軟性から市場の約80%を占めている。 多くの大手テクノロジー企業がAI開発のためにNVIDIAのチップに数十億ドルを投資しているのが現状だ。 Etchedの「Sohu」は、ASIC（Application-Specific Integrated Circuit：特定用途向け集積回路）と呼ばれる、特定の用途に最適化された集積回路だ。汎用性は低いものの、特定
中島聡さん、NVIDIAのGPUが用済みになるって本当ですか？AI開発の行列乗算をなくす｢MatMul-free LM｣で気がかりなこと - まぐまぐニュース！
エヌビディアの強みであるGPUの優位性を揺るがすかもしれないAI関連の注目論文とは？人気急上昇中のメルマガ『週刊 Life is beautiful』より読者Q&Aをご紹介。著者の中島さんは「Windows95の父」として知られる日本人エンジニア。メルマガでは毎号、読者からの質問に丁寧に回答しています。 ※本記事のタイトル・見出しはMAG2NEWS編集部によるものです プロフィール：中島聡（なかじま・さとし） ブロガー／起業家／ソフトウェア・エンジニア、工学修士（早稲田大学）／MBA（ワシントン大学）。NTT通信研究所／マイクロソフト日本法人／マイクロソフト本社勤務後、ソフトウェアベンチャーUIEvolution Inc.を米国シアトルで起業。現在は neu.Pen LLCでiPhone/iPadアプリの開発。 1ビットの高速推論AIチップ 米国より先に中国が開発する可能性も 読者からの質
Unity、ゲームの最適化に関する電子書籍を無料公開。「モバイル」「コンソール/PC」向け2冊で、ボトルネックの特定方法やメモリ・GPU最適化などを解説
Unity Technologiesがゲームの最適化について解説する電子書籍を無料で公開 メモリやGPU管理、ボトルネック特定の方法などを解説したPDF資料 モバイル向けとコンソール/PC向けの2冊があり、各デバイス向け解説も Unity Technologiesは2023年12月6日、Unityにおけるゲームの最適化を解説する2冊の電子書籍を公開しました。 公開されたのは、モバイル向け開発ガイド『OPTIMIZE YOUR MOBILE GAME PERFORMANCE』と、コンソール/PC向け開発ガイド『OPTIMIZE YOUR GAME PERFORMANCE FOR CONSOLES AND PC』です。 各ガイドには、ボトルネックの特定方法やメモリ管理、プログラミングやアセット管理など、さまざまなカテゴリーにおける最適化が解説されています。また、各ガイドそれぞれに、対象デバイス
ではそもそも“1bit”とは何が1bitなのか、どうして1bitになるとGPUが不要になるのか。LLMでGPUが不要になるとどんな世界が訪れるのか。オーダーメイドによるAIソリューション「カスタムAI」の開発・提供を行うLaboro.AIの椎橋徹夫CEOに聞いた。 プロフィール：椎橋徹夫 米国州立テキサス大学理学部卒業後、ボストンコンサルティンググループに参画。消費財や流通など多数のプロジェクトに参画した後、社内のデジタル部門の立ち上げに従事。その後、東大発AI系のスタートアップ企業に創業4人目のメンバーとして参画。AI事業部の立ち上げをリード。東京大学工学系研究科松尾豊研究室にて「産学連携の取り組み」「データサイエンス領域の教育」「企業連携の仕組みづくり」に従事。同時に東大発AIスタートアップの創業に参画。2016年にLaboro.AIを創業し、代表取締役CEOに就任。 ──まず、1bi
最近オープンになる大規模言語モデル（LLM）が、軒並みGPT-4レベルの性能となっています Huggngfaceで無料でダウンロードできるのですが、問題は必要VRAM容量です 話題の、Command-r-Plusは、日本語性能について評価が高く、一部の性能はGPT-4並みと言われますが、さすがに大型で104Bパラメータもあるため、4bitに量子化しても60GB程度のVRAMが必要となります。 コンシューマークラスのGPUの最高峰、RTX4090は、VRAM24GBのため、command-r-plusをすべてGPUに載せて推論しようと考えると、3台のマルチGPUデスクトップが必要です しかし、RTX4090は450W消費のGPUのため冷却機構が大きく、1デスクトップに3台収めるのは至難の業となります。 先日、水冷ラジエーター付きRTX4090で、マルチGPUデスクトップを作成しました。 水冷
A new tool that blends your everyday work apps into one. It's the all-in-one workspace for you and your team
米OpenAIの大規模言語モデル（LLM）・GPT-4は今、世界を大きく塗り替え続けている技術の一つだ。世界各国の企業がこぞってLLMの開発を進めている。特にGAFAなどの巨大企業は、その膨大な資源を使ってすでにいくつものLLMを世に放っている。 そんな中、日本では理化学研究所と富士通、東京工業大学、東北大学が、スーパーコンピュータ「富岳」を使ったLLMの研究を今まさに進めている。学習手法の研究からデータの法的な扱いまで幅広く検討し、日本のLLM開発の基盤を作るのが目的だ。 深層学習といえば、今ではGPUを使うのが一般的になっている。しかし富岳はそのGPUを搭載していない。日本にはGPU搭載スパコンも存在するのに、なぜ富岳を使ってLLMを研究するのか。 今回は富士通研究所・コンピューティング研究所の中島耕太所長と白幡晃一さんに、富岳を使ったLLM研究について、その意義を聞いた。富岳は確かに
Appleは2024年5月に開催したイベントの中で、M2チップを搭載した新型iPad Airを発表しました。この新型iPad Airに搭載されるM2チップは、「GPUが10コア」と宣伝されていたのですが、これがひっそりと9コアにダウングレードされていることが明らかになっています。 Apple downgrades new M2 iPad Air, now says it features a 9-core GPU instead of 10-core - 9to5Mac https://9to5mac.com/2024/06/01/m2-ipad-air-gpu-core-count/ Appleは2024年5月に2年以上ぶりとなるiPad Airの新モデルを発表。この新型iPad AirはM2チップを搭載しており、GPUのコア数は「10コア」でした。 史上初の2サイズ展開になった「iPa
コードなしでWeb3コンテンツなどを開発することができるプラットフォーム・thirdwebの創設者であるadammaj氏が、「経験なしで2週間でゼロからGPUを構築した」と報告しています。 I've spent the past ~2 weeks building a GPU from scratch with no prior experience. It was way harder than I expected. Progress tracker in thread (coolest stuff at the end)👇 pic.twitter.com/VDJHnaIheb— adammaj (@MajmudarAdam) ◆ステップ1：GPUアーキテクチャの基礎を学ぶ adammaj氏はまず、最新のGPUがアーキテクチャレベルでどのように機能しているのかを理解しようとしたそうで
Supercomputing Contest 2013/GPUプログラミング資料 - Supercomputing Programing Contest Official Site
2023-09-13 SupercomputingContest2023 2023-09-06 Supercomputing Contest News News/sc230906 2023-09-01 News/sc230830 2023-08-28 News/sc230828 SupercomputingContest2023/本選結果 2023-08-01 MenuBar 2023-06-29 News/sc230629 SupercomputingContest2023/予選結果 2023-06-12 SupercomputingContest2023/予選・認定問題Ｑ＆Ａ 2023-06-01 SupercomputingContest2023/問題および関連ファイル群更新履歴 2023-05-31 News/sc230531 2023-05-30 News/sc230530 20
高速なPython互換言語の「Mojo」、そのままGPUで実行可能に。「MAX GPUs」発表。ModCon '23
高速なPython互換言語の「Mojo」、そのままGPUで実行可能に。「MAX GPUs」発表。ModCon '23 高速なPython互換言語「Mojo」の開発元であるModular社は、同社として初のイベント「ModCon '23」を12月4日にサンフランシスコで開催しました。 基調講演で、高速なPython互換言語の「Mojo」を含むAI処理を高速に実行するプラットフォーム「MAX」（Modular Accelerated Xecution (MAX) Platform）がNVIDIAのGPU対応となり、さらに高速な処理が可能となる「MAX GPUs」が発表されました。
イギリスのスタートアップ「Spectral Compute」社がCUDAのプログラムを全く変更することなくAMD製GPUで実行できるようにコンパイルするツールキット「SCALE」を開発したと発表しました。 SCALE GPGPU Programming Language https://scale-lang.com/ Announcing the SCALE BETA https://scale-lang.com/posts/2024-07-12-release-announcement Spectral ComputeのCEOであるマイケル・ソンダーガード氏は「一度コードを記述すればあらゆるハードウェアプラットフォームでビルド・実行できるべき」「CPUでは長年実現されてきたのに、なぜGPUでは実現できないのか？」とSCALEの開発に至った経緯を説明。 SCALEはNVIDIAのCUDAツ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦
【レビュー】 至って普通のノートPCでもゲームがサクサク動く！ドック機能を備えた超小型GPUボックス「GPD G1」を試す
「CPU」「GPU」「NPU」「TPU」の違いを分かりやすく説明するとこうなる
角刈りオジサンから美少女ボイス 「GPU不要で超低遅延」なリアルタイム音声変換ソフトを見てきた
【2024年版】WSL2+Ubuntu24.04+Docker＋GPUでつくる機械学習環境
「NVIDIA最新GPUの20倍速い」史上最速を謳うAIチップ「Sohu」
GPUの性能比較がひと目で行えるヒエラルキー図公開―Nvidia「RTX 4090」全条件でTOPという結果に | Game*Spark - 国内・海外ゲーム情報サイト
NVIDIA、1パッケージに2ダイの新型GPU「Blackwell」。AI性能は学習4倍、推論30倍に
生成AIでGPUがいらなくなる？ 業界を揺るがす「1ビットLLM」とは何か、識者に聞いた
自宅PCでクラスターを構築：コンシューマーGPUの枠を超え、大型LLMをローカルで動かす！｜AIサトシ
GPUなサービスをそこそこな費用で運営する | Kai INUI
なぜ日本はGPUのない「富岳」でLLMを研究するのか 外国に後れを取らないための“現実的な理由”
初めてでもできる！ 自宅PCのGPUを「Google Colab」から使い、生成AIをカンタンに動かす方法【イニシャルB】
【西川和久の不定期コラム】 VRAMが少ないGPUで画像生成AIを諦めていた人に。「Stable Diffusion WebUI Forge」登場！
AppleがM2搭載iPad AirのGPUを10コアから9コアにひっそりダウングレード
AMD「Ryzen 8000G」発表。高性能内蔵GPUをデスクトップに
CPUもGPUもライバル完封。Qualcomm、AppleやIntelに勝利宣言
「ゼロからGPU開発」に経験なし＆わずか2週間で成功した猛者が登場
GPUからの脱却と「AI半導体」の可能性【西田宗千佳のイマトミライ】
GPUなしでもできる画像生成AI ～Web UI「A1111」の環境構築と利用方法を伝授【生成AIストリーム】
【特集】 CPUやGPUの発熱や電力をカットする方法
CUDAのコードを全く変更せずにAMD製GPU向けにコンパイルできるツールキット「SCALE」が登場
【レビュー】 「Ryzen AI 300」は省電力でCPU/GPUはデスクトップ並みという優秀さ。NPU搭載のRyzen AI 9 HX 370を性能検証
