TorchTPU: Running PyTorch Natively on TPUs at Google Scale- Google Developers Blog
The challenges of building for modern AI infrastructure have fundamentally shifted. The modern frontier of machine learning now requires leveraging distributed systems, spanning thousands of accelerators. As models scale to run on clusters of O(100,000) chips, the software that powers these models must meet new demands for performance, hardware portability, and reliability. At Google, our Tensor P
最新のPyTorchで軽量OCRモデルPARSeqをTensorRT化する - NTT docomo Business Engineers' Blog
こんにちは。イノベーションセンターの加藤です。普段はコンピュータビジョンの技術開発やAIシステムの検証に取り組んでいます。 今回は最新版のPyTorchを使って軽量なTransformerベースOCRモデルであるPARSeq(Permuted Autoregressive Sequence)をTensorRTモデルに変換して高速化した取り組みについて紹介します。 PARSeqとは PARSeqのTensorRT化 PyTorch Lightningによるモデル変換 AutoregressiveとIterative refinementがTensorRT化できない問題 Autoregressive modeのTensorRT化 TorchDynamoの機嫌をとる Iterative refinementのTensorRT化 評価 まとめ PARSeqとは PARSeq1はVision Tra
FlexAttention + FlashAttention-4: Fast and Flexible – PyTorch
TL;DR: On Hopper and Blackwell GPUs, FlexAttention now has a FlashAttention-4 backend. We added support in PyTorch to automatically generate CuTeDSL score/mask modification functions, and to JIT-instantiate FlashAttention-4 for custom attention variants. This leads to performance gains of 1.2× to 3.2× over the existing Triton implementation on compute-bound workloads. FlexAttention recap FlexAtten
Pyrefly Now Type Checks PyTorch – PyTorch
We’re excited to share that PyTorch now leverages Pyrefly to power type checking across our core repository, along with a number of projects in the PyTorch ecosystem: Helion, TorchTitan and Ignite. For a project the size of PyTorch, leveraging typing and type checking has long been essential for ensuring consistency and preventing common bugs that often go unnoticed in dynamic code. Migrating to P
Introduction to PyTorch | 0byte
# Each row is one house: [bedrooms, bathrooms, size, age, price] houses = torch.tensor([ [2, 65, 15, 285], [3, 95, 8, 425], [4, 120, 25, 380], [3, 88, 42, 295], [5, 180, 3, 675], [2, 58, 50, 245] ], dtype=torch.float32) You might be wondering, not all data is numbers. Sometimes we have words, images, or even 3D mesh data. If that's the case, we need a step in between. We need to find a way to map
GPU マシンに直接 PyTorch 環境を構築するときの手順と注意点 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 手元の古い GPU マシンに PyTorch 環境を構築しようとして、昔やったように構築したら動きませんでした (PyTorch と GPU の不整合で)。エラーメッセージから原因はわかるし解決も難しくないですが、そもそも最初から失敗しない手順を記します。 先に注意点のまとめ 手元の GPU マシンに直接 PyTorch 環境を構築するとき、(昔に環境構築が上手くいった経験がある人ほど) 以下の点に注意が要ると思います。 近年の PyTorch には CUDA ランタイムが同梱されているため [1]、別途 CUDA をインストールしてお
M5 Mac + PyTorchで爆速深層学習 - Qiita
はじめに 赤石です。すごく久しぶりに投稿します。 個人目的で現在利用中のMac(Macbook Pro M1)は、約５年前に購入しました。別に不自由はないのですが、そろそろ買い換えてもいいかと思い、最新のMacBook Pro(M5)を購入しました。 ディープラーニングとか、PyTorchの本を書いている人間なので、ローカルで動く環境を作ろうと、関係ソフトを一式導入しました。その手順メモを書くつもりだったのですが、その過程で驚いたことがあります。 クラウドのColab+T4環境で学習に約５分かかる、書籍用のPyTorchサンプル学習コードをローカルのMac(M5)で動かしたところ、なんと30秒で学習が終わってしまったのです。 この環境では、mpsが使えることがわかり、そちらに差し替えたら今度は１分でした。 いまだにわけわからないのですが、手順を一通り説明しますので、M5 Macをお持ちの方
LLMのCUDAカーネルを自作しよう!
本記事は、LLM・LLM活用 Advent Calendar 2025 21日目の記事です。 はじめに pytorchは、Meta社が開発した機械学習・深層学習のためのpythonライブラリです。ユーザーは、pytorchを使用することで、画像分類モデルや強化学習モデルをはじめとし、大規模言語モデルや拡散モデルなど、多種多様なニューラルネットワークモデルを構築することが可能です。 また、pytorch内部では、CPU、TPU、GPUといった様々なプロセッサ向けに最適化された処理が実装されており、これらのプロセッサ間を容易に切り替えて使用することが可能です。例えば、大規模言語モデルの推論処理をGPU上で行いたい場合は、以下のように記述します。このようにユーザーは、入力テンソルとモデルインスタンスに対して.to("cuda")をつけるだけで、GPUを使用した処理が実行可能です。GPUを使用した
LLM開発の裏で行われるデバッグ作業: PyTorch DCP
はじめに Turing CTO室に所属している東京科学大学(Institute of Science Tokyo)の藤井です。 本記事は、LLM, VLM開発の裏で行われるリアルなデバッグ作業の様子を紹介します。 LLM, VLMの開発の裏には本記事で紹介するような地道なデバッグ作業が多数あるのですが、なかなかその実態が伝わっていないように思います。できるだけ詳細にデバッグ作業の様子を記しましたので、実際の現場で行われている作業を追体験いただけますと幸いです。 Background まず、デバッグ作業を行う前の背景と経緯について説明します。 学習に使用している依存関係の継続的なupdateのために、学習ライブラリが新しいversionのPyTorch、CUDA Toolkitで動作するかどうか常に検証しています。 本記事では、その作業を行う中で問題に直面し、何が問題なのか突き止めるまでの過
AI開発の重要基盤「PyTorch」の発明者がMetaを退職
AIの開発に用いられている機械学習ライブラリ「PyTorch」の発明者であるソウミス・チンタラ氏が、Metaを退職したことを発表しました。PyTorch開発プロジェクトは他のメンバーに引き継がれます。 Leaving Meta and PyTorch https://soumith.ch/blog/2025-11-06-leaving-meta-and-pytorch.md.html Leaving Meta and PyTorch I'm stepping down from PyTorch and leaving Meta on November 17th. tl;dr: Didn't want to be doing PyTorch forever, seemed like the perfect time to transition right after I got back f
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Monarch: an API to your supercomputer – PyTorch
PyTorch Foundation Welcomes Helion as a Foundation-Hosted Project to Standardize Open, Portable, and Accessible AI Kernel Authoring – PyTorch
PyTorch 2.10+TorchAO: Powering AIPC scenarios on Intel® Core™ Ultra Series 3 processors – PyTorch
Building Voice Agents with ExecuTorch: A Cross-Platform Foundation for On-Device Audio – PyTorch
MXFP8 Training for MoEs: 1.3x training speedup vs BF16 for Llama4 Scout on GB200 cluster using TorchAO and TorchTitan – PyTorch
Mooncake Joins PyTorch Ecosystem – PyTorch
Warp Specialization in Triton: Design and Roadmap – PyTorch
GitHub - obround/mytorch: Automatic differentiation implemented in python, inspired by Pytorch (easily extensible)
GitHub - pytorch/executorch: On-device AI across mobile, embedded and edge for PyTorch
https://x.com/SemiAnalysis_/status/1988486601710989697