はじめに テカナリエの清水さんの下記のXの投稿にあった、NVIDIAのHBM側 もちろんNVIDIA もHBM側の シリコンも開発してますよ！ メモリーメーカーに丸投げのわけないよね （当たり前の話ですが） pic.twitter.com/3KidR12oNM— テカナリエ清水 (@techanalye1) 2023年12月20日 無くなるともったいないので、画像を引用します。 HBM2E、2019、NVIDIA の文字があります。 HBM2E ということなので、H100ではなく、A100 でしょうか？ 2019 年だと、2020年発表のA100になり、こちらも A100 になるでしょうかね。 HBMの構成を復習 PC Watchの下記の記事にHBMの構造の図があります。 pc.watch.impress.co.jp 下図がその図で、説明のために引用します。 HBMは、Logic Dieの

はじめに AMD MI300に関する解説記事が IEEE Spectrum に掲載されています。 spectrum.ieee.org 下記の図は、上記の IEEE Spectrum から説明のために引用します。 パッケージの断面図 XCDおよびCCDの上にはCarrier Siが載っているんですね。 こちらは写真。 CCD の上にCache die を実装する V-cache Genoa CPU CCD を MI300 で利用できるように変更 下記の図は、AMD、3D V-Cache採用で世界最速のゲーミングCPUを謳う「Ryzen 7 5800X3D」 から説明のために引用します。 Direct Copper - Copper Bonding というものを使っているんですかね おわりに AI アクセラレータだけでなく、システムを開発するという観点が必要だということは当たり前ですが、Int

はじめに Raspberry Pi 5 に関することは、下記のように既に7回アップしています。 Raspberry Pi 5 の SoC は、Broadcom BCM2712 Raspberry Pi 5 は、PSCIをサポートしている！ Raspberry Pi 5の I/O chip、RP1 とは Raspberry Pi 5のBCM2712は、BCM2711とどこが違う？ Raspberry Pi 5 の Linux Kernel の Page Size は 16KB Raspberry Pi 5は、L3 Cache付き！ Raspberry Pi 5 (2712)と Raspberry Pi 4 (2711) のVideocoreの違い 今回は、PCIe に関するものです。 下記の記事の中を確認していきます。下記の記事からの写真等を説明のために引用します。 www.raspberr

はじめに AMD Ryzen 8000シリーズの発表がありました。 www.youtube.com AMD Ryzen 8040 ここから下記の図を説明のために引用します。 8040 って、あれ、7040 と何が違うの？ Phenix (7040) : Q2.2023 shipping Hawk Point (8040) : Q1.2024 shipping Strix Point Phenix の NPU は、10 TOPsで、Hawk Point の NPU は、16 TOPsで、その性能は 変わらず。 Phenix (7040) の NPU は、10 TOPs で、NPUは1GHzで動いているということは、このブログでも紹介しました。 vengineer.hatenablog.com おわりに 16 TOPs ということは、NPUの動作周波数を 1.6GHz すればいいんですよね。1

はじめに Linux Kernelのコア制限が256個だというのを下記のXの投稿で知りました。 The ARM64 #Linux kernel has a 256 core limit while with #AmpereOne CPUs allowing up to 192 physical cores per socket, that 256 limit is passed in a dual socket configuration Ampere’s trying to get this fixedhttps://t.co/6ZAWYz1kkW#HPC #AI via @phoronix— HPC Guru (@HPC_Guru) 2023年11月30日 AmpereOne は、192コア Ampere Computingの TSMC N5で開発した AmpereOne のコア数が

はじめに RISC-V SUMMIT のビデオが11月30日に公開されました。 その中に、Metaの Keynote: Building Data Center Scale SoC's using RISC-V at Meta - Prahlad Venkatapuram では、 Video 処理ASIC (MSVP : Mea's Scalable Video Processor) AIアクセラレータ : MTIA (Meta's Training and Inference Accelerator) RISC-VベースのSoC についての活動が報告されています。 MSVPとMTIAについては既にかなりの部分まで公表されているのですが、最後のRISC-VベースのSoCについてはこれが初めてでは？と思っています。 MTIAについては、このブログでも取り上げています。 vengineer.h

はじめに このブログを読んでいただいている方で、Xerox Alto の実物を見たことがあるのは多くは居ないと思います。あたしは動いたものは見たことないですが、数年間通勤時に2回見ていました(見ていましたというより、途中に置いてあるということです)。 下記のXの投稿に写真があります(本当のところ、撮影は禁止されています)。説明のために引用します。 横浜みなとみらいの富士ゼロックスで、1973年生まれのAltoを眺める。Altoの裏側をゆったり眺めることができる場所は少ないので、面白い。https://t.co/tx9FPip4yS pic.twitter.com/QQWipXjKvZ— hirax (@hirax) 2019年3月20日 Xerox Alto って、何？ AppleがMacintoshを開発するきっかけとなったのが、まさに、Xerox Alto なんですよね。 Wikipe

はじめに Intel FPGA Runtime for OpenCL Software Technologyは、下記のようび github に公開されています。 github.com 最近、HAL (レジスタ部分)が公開されたので、みてみます。 HAL 部分を眺める 今回更新されたHALの部分は、 include/acl_hal_mmd.h です。 下記の部分は、アドレスマップです。 // Address map // For unit tests to work, these defines must match those in the unit test // header file #define OFFSET_KERNEL_VERSION_ID ((dev_addr_t)0x0000) #define OFFSET_KERNEL_CRA_SEGMENT ((dev_addr_t)

はじめに Microsoft が Maia 100 を発表し、来年にサービスインすることで、3大 Cloud Service Google AWS Microsoft にて、AIアクセラレータを利用できるようになります。 今回は、既にサービスを行っている Google TPU v5e AWS Trainium/Inferentia2 について、振り返りたいと思います。 Google TPU v5e Google TPU v5e の性能は、 BF16 : 197 TFLOPS INT8 : 343 TFLOPS pricing は、$1.20/hour です。 AWS Trainium/Inferentia2 Trainium および Inferentia2 の性能は、 FP8/FP16/BF16/TF32 : 190 TFLOPS です pricing は、下記のように、 trn1.32x

はじめに AWS Trainium 内には、2つのNeuronCorev2 があり、各NeuronCorev2には On-chip SRAM Memory が載っています。このSRAMをどのように使っているのかがわかりました。 OpenXLAの講演ビデオ (AWS) Innovating with XLA for the Neuron compiler for AWS Trainium and Inferentia の中で、SRAMを Scratch Pad と使っていると言っています。その部分を説明のためにキャプチャしました。 2つのHBMとSRAMの間をDMAでデータを移動しているっぽいです。 おわりに OpenXLAのYoutubeには、いろいろな講演ビデオがありますよえ。

はじめに AWS が Graviton 4 / Trainium2 を発表しました。 press.aboutamazon.com 左 : Graviton4、右 : Trainium2 Trainium2 の HBMが左側に付いているので、Trainiumとは違います (Trainium は右側に2個付いています) Graviton4 AWS Announces 4th Generation Graviton General Purpose Compute SoC: Scale-up Apps, Dual-Socket-Capable, Supporting SAP HANA Today, AWS announced its fourth-generation general purpose datacenter SoC, which gives the company an even b

はじめに HBM4の情報がXのTLに流れてきました。下記の投稿を説明のために引用します。 From HBM4, we will witness a historic moment when the roles and influences of memory, system, fabless, and foundry will be reversed. According to a report by JoongAng Ilbo, SK Hynix has decided to challenge the method of implementing memory and logic semiconductors on the same… pic.twitter.com/3jrbYIoneC— Revegnus (@Tech_Reve) 2023年11月19日 HBM4をGPU dieの上

はじめに Googleは、TPU v5e を発表したのはこのブログでも以下のように紹介しました vengineer.hatenablog.com vengineer.hatenablog.com vengineer.hatenablog.com 今日は、v5e ではなく、v5 について、探っていきます。 Google AI生成に聞いてみた 以前(10月9日)、Google検索にて、AI生成を使って、Google TPU v5e について調べたときの結果は、下記のようになっていました。 Googleさんの生成AIが教えてくれました。 TPU v5 というのがあって、Tensor Coreは1個ではないと pic.twitter.com/Z8aD2JFzYn— Vengineer＠ (@Vengineer) 2023年10月9日 質問が「Google TPU v5e」だったので、Google

はじめに Xに下記の投稿が流れてきました。SOPHGOという中国の会社でRISC-VベースのSoCを開発しているようです。 Chinese RISC-V chip maker Sophgo is developing a a server/PC chip using cores from US company SiFive. See a problem there? It is also developing a successor to its current SG2042 chip. Slides on new chips from Sophgo from #SC23 #iamhpc #supercomputing pic.twitter.com/blaCi9ol6E— Agam Shah (@agamsh) 2023年11月14日 SOPHGO SG2042 SG2042 というRI

はじめに AMD Ryzen AI を使うためのドキュメントを確認してみた。 ryzenai.docs.amd.com 0.9 で preview 版っぽい。 基本的には、Python で使う 下図を説明のために引用します。 TensorFlow PyTorch ONNX ベースの python で使うもの。 CPU XDNA XDNA が AI Engine側 IPU driver Ryzen AI は、IPU device(PCIデバイス、デバイスID=0x1502) として実装されているようです。 そして、IPU driver 経由 で Ryze AI が使える。>= 10.105.5.42 で使えるっぽい。 ソフトウェア (ryzen-ai-sw-0.9.zip) を展開する。ソフトウェアはユーザー登録しないとダウンロードはできない。 実体は下記にあるっぽい。 set XLNX_V

はじめに このブログで5月に書いた以下の内容についての更新。 vengineer.hatenablog.com いつものように、AMD/Xilinx の github を散歩していたら、mlir-aie の説明の中に Ryzen AI でも FPGA(Versal) の AI Engine が使えるっぽいです。 詳細は、ここ にUbuntu で使えるということが書いてあります。 また、Windows の WSL Ubuntu でも使えるようです。 Windows + Ryzen AI の使い方 このドキュメントによると、 MLIR-AIE tools: WSL Ubuntu 22.04 にあるように、Windows の WSL Ubuntu 22.04 で MLIR-AIE をビルドします。 また、Microsoft Visual Studio 17 2022 Community Edit

はじめに このブログで7月10日、下記のように、「LLMで勝負するには、1000億円必要か？」と書きました。 vengineer.hatenablog.com また、昨日のブログで、MosaicMLがDatabricksに$1.3Bで買収されたということも書きました。 Google、AWS、Microsoftの投資額 Google : Anthropic に最大$2B投資 (2023.10.28) AWS : 最大$4B (2023.09.25) Microsoft : OpenAI $1B (2019 => 複数年で $10B) この他では、 Intel : Stability AI (4000 Gaudi2) Apple : アップル、“Apple GPT”開発に年間数十億ドルものAIサーバーを購入予定か (2023.1024) 2023年には約6億2000万ドル、2024年には47億

はじめに AppleがM3シリーズとして、 M3 M3 Pro M3 Max を発表しました。また、M3シリーズを搭載する Mac Book Proも発表しました。 詳細は、下記のビデオにあります。 www.youtube.com 以下の画像は上記のビデオから説明のために引用します。 説明は、いつもの Johny -san です。カッコいいですよね。 M3/M3 Pro/M3 Max M3の25 billion transistors, M3 PRO の37 billion transistors は分かるのですが、M3 MAX の 92 billion transistors って、何ですか？ 下記のように、M1 Pro => M1 Max, M2 Pro => M2 Max でだいたい 1.7倍弱なんですが、M3 Pro => M3 Max では、2.5倍弱ですよ。 die shot

はじめに Xの下記の投稿に、RISC-Vなlaptopが流れてきました。ちょっと気になったので、記憶のために残します。 www.tomshardware.com LiChee Console A4 LiChee Console A4 というもので、16GBメモリ、eMMC 128GB、1280 x 800 LCD、$299 からのお値段。 SoCは、LM4A TH1520 のようです。 LicheePad4A なるタブレットもあります。LiChee Console A4 のタブレット版っぽい。液晶は 1920 x 1200 です。Android 13 + Debian って、何？ Lichee Pi 4A Lichee Pi 4Aについては、ベースボード + SoM なんですね。 SoC ; TH1520 (12nm、RISC-V 2.0GHz (C910 x 4) Memory : 4G

@Vengineerの戯言 : Twitter SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった Intel が Habana Lab を買収して、Nervanaの NNP-T を discon にするって。 2016年にNervana買収して3年経って、Nervanaの人達がどんどん辞めて、やる人いなくなっちゃったのかな？と思ったりしました。 ということは、3年後、2022年頃、また、他の会社を買収するんでしょうかね。 そうなると、Habanaのチップを買う人っているのかしら、ロードマップ大切なので、Intelのx86で十分わかっているはずなのにね。。 fuse.wikichip.org 買収したHabanaの学習チップ(Gaudi)と推論チップ(Goya)のアーキテクチャが同じだけど、Nervanaの学習チップ(NNP-T)と推論チップ(N