PytorchによるLLMの高速化
アドベントカレンダー「ほぼ横浜の民」の11日目の記事です。 今年は LLM の高速化実装について書いています。私はLLMの専門家ではないですが前々から興味があったので少し勉強してみました。 この記事を読んでわかること LLMが文章を生成する仕組み torch.compile によって LLM はどのように高速化されるのか？ Speculative Decoding とは？ 背景 少し前に Accelerating Generative AI with Pytorch II: GPT, Fast という素晴らしいブログ記事を見かけました。この記事は Pytorch チームから出されたもので、素の Pytorch のみを用いて LLM の推論を 10 倍高速化できるというものでした。一体どのように 10 倍もの高速化を実現しているのか気になったので、個人的な勉強も兼ねてこの記事を書いています。
Accelerating Generative AI Part III: Diffusion, Fast
by Sayak Paul and Patrick von Platen (Hugging Face 🤗) This post is the third part of a multi-series blog focused on how to accelerate generative AI models with pure, native PyTorch. We are excited to share a breadth of newly released PyTorch performance features alongside practical examples to see how far we can push PyTorch native performance. In part one, we showed how to accelerate Segment Any
Accelerating Generative AI with PyTorch: Segment Anything, Fast
by Team PyTorch This post is the first part of a multi-series blog focused on how to accelerate generative AI models with pure, native PyTorch. We are excited to share a breadth of newly released PyTorch performance features alongside practical examples of how these features can be combined to see how far we can push PyTorch native performance. As announced during the PyTorch Developer Conference
Making Deep Learning go Brrrr From First Principles
Making Deep Learning Go Brrrr From First Principles So, you want to improve the performance of your deep learning model. How might you approach such a task? Often, folk fall back to a grab-bag of tricks that might've worked before or saw on a tweet. "Use in-place operations! Set gradients to None! Install PyTorch 1.10.0 but not 1.10.1!" It's understandable why users often take such an ad-hoc appro
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pytorch Conference
GitHub - pytorch-labs/segment-anything-fast: A batched offline inference oriented version of segment-anything
gpt-fast/eval.py at main · pytorch-labs/gpt-fast
kineto/tb_plugin/README.md at main · pytorch/kineto
PyTorch 2.0 Live Q&A Series: PT2 Profiling and Debugging
PyTorch Performance Tuning Guide - Szymon Migacz, NVIDIA
torch.nn.modules.module — PyTorch 2.3 documentation
torch.utils.bottleneck — PyTorch 2.2 documentation
torch.profiler — PyTorch 2.4 documentation
Performance Tips and Tricks | fastai
OLCF-Analytics / summit / Distributed Deep Learning Examples · GitLab
vision/torchvision/datasets/lsun.py at main · pytorch/vision
https://nvlabs.github.io/eccv2020-mixed-precision-tutorial/files/szymon_migacz-pytorch-performance-tuning-guide.pdf
Writing a PyTorch custom layer in CUDA for Transformer
pytorch/torch/cuda/nvtx.py at main · pytorch/pytorch
Profiling Deep Learning Networks