Fujitsu MONAKA と AMD EPYC Genoa-X/Ampere Computing AmpereOne-1 の比較 - Vengineerの妄想(準備期間)
はじめに Arm Server用SoCについては、昨年(2023年)1月に書きました。 vengineer.hatenablog.com この時は、 Ampere Computing NVIDIA Grace/Bluefield AWS Gravitonシリーズ (現在は、Graviton3) Marvell OCTEONシリーズ(OCTEON 10は、Neoverse N2) の4社がArm Server用SoCを開発しています。 今回は、Fujitsu MONAKA と Ampere Computing の AmpereOneシリーズを比較してみます。 Fujitsu MONAKA Fujitsu MONAKAについては、下記のスライドに説明があります。 PCCC23：富士通株式会社 テーマ１「次世代高性能・省電力プロセッサ『FUJITSU-MONAKA』」 from PC Clust
NVIDIAのNVLink & IB の対抗になるのか？「Ultra Accelerator Link(UALink)」 - Vengineerの妄想(準備期間)
はじめに このブログでもNVIDIAの強みの一つである NVLink & IB。IBについては、買収したMellanoxの技術です。 NVLink にてGPU間を直接接続し、IBにてNode間接続を行う。 NVLinkに関しては、v4 は 256個のGPUが接続できる。v5 は 576個のGPUが接続できる。 ただし、NVLink は NVIDIAが提供しているプロダクトのみに利用でき、3rd party のものは存在しません。 Ultra Accelerator Link (UALink) NVIDIA以外の全部 (Intel, AMD, Broadcom, Cisco Systems, HPE, Meta Platforms, Microsoft) による、Ultra Accelerator Link (UALink) というのが発表されたようです。 下記の The Nextplatf
GroqのLLM Inferenceが超絶速い件に対する感想 - Vengineerの戯言
はじめに Xの投稿にて、GroqのLLM Inferenceが超絶速いというのが流れてきます。 groq.com にアクセスすると、 Mixtral 8x7B-32K LIama 2 70B-4k が動きます。デフォルトは、Mixtral 8x7B-32K のようです。 とりあえず、質問してみました。 GroqのTSPがLLM推論で速い理由を2000文字程度で説明してください。 458.03 T/s 回答 Groq's Tensor Streaming Processor (TSP) is designed to accelerate machine learning workloads, including large language models (LLMs) like me, by providing a highly parallel and specialized archit
AIバブルから生成AIバブルへ、Cloud学習チップのスタートアップは生き残れるか？ - Vengineerの戯言
はじめに 昨年の9月に vengineer.hatenablog.com というブログを書きました。 SambaNova Systems, Graphcore, Cerebras Ssytems は、TSMC 7nmで半導体を開発していて、次は 5nm/4nm ではなく、3nm に移行するか？という点を考えました。 ( GroqとTenstorrentは、TSMCではなく、Global Foundries の 12nm/14nm) この時点ではまだChatGPTが出ていなかったです。 AIバブルが生成AIバブルへ ChatGPTが出て、期待以上の成果が出ているということで、世界中が生成AIにフルベットするような流れになりました。 その為、NVIDIAのGPU (A100, H100) への需要が高まり、オーダーしてもいつ納品されるかもわからない状況のようです。 下記のツイートでは、Clou
AWS : Graviton4 / Trainium2 を発表 - Vengineerの戯言
はじめに AWS が Graviton 4 / Trainium2 を発表しました。 press.aboutamazon.com 左 : Graviton4、右 : Trainium2 Trainium2 の HBMが左側に付いているので、Trainiumとは違います (Trainium は右側に2個付いています) Graviton4 AWS Announces 4th Generation Graviton General Purpose Compute SoC: Scale-up Apps, Dual-Socket-Capable, Supporting SAP HANA Today, AWS announced its fourth-generation general purpose datacenter SoC, which gives the company an even b
SiFive の X390というコア - Vengineerの戯言
はじめに SiFive が P870 と X390 とうコアを発表しました。 https://venturebeat.com/games/sifive-unveils-two-new-high-performance-risc-v-processors/venturebeat.com P870 はハイパフォーマンスなコアで、ARMで言うところの X シリーズ的なもの。。。 で、X390 は High Performace NPU 用のコアのようです。 X390 X390 は、Sifive Intelligence Family なコアのようです。 X390 X380 X288 X280 X280 と X380 は、512-bit Vector Length だったのが、1024-bit Vector Length になり、ALUも Single VectorからSingle/Dual Ve
Tesla Dojo D1 chip と D1 chip を利用してシステムで次のステップに進んだディープラーニングの学習インフラ - Vengineerの戯言
はじめに 先週の8月19日(日本時間では、8月20日の9時)から行われた tesla AI Day。 今日のブログは、そこで発表があった Dojo D1 Chip および D1 Chipをベースとしてシステムについて考えてみました。 Youtube で Live ストリーミングされた Tesla AI Day Youtubeにはアーカイブが残っています。1:45:30ぐらいから、Dojoの説明が始まります。 www.youtube.com Dojo のプレゼンテータは、Ganesh Venkataramanan さんで、Dojo ProjectのLeadのようです。2016年3月に、Director Autopilot Hardware として、Teslaに入手し、2018年12月に、Lead of Project Dojo with responsibilities of Silicon
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
