torchtune: Easily fine-tune LLMs using PyTorch – PyTorch
We’re pleased to announce the alpha release of torchtune, a PyTorch-native library for easily fine-tuning large language models. Staying true to PyTorch’s design principles, torchtune provides composable and modular building blocks along with easy-to-extend training recipes to fine-tune popular LLMs on a variety of consumer-grade and professional GPUs. torchtune supports the full fine-tuning workf
Quanto: a PyTorch quantization backend for Optimum
Quantization is a technique to reduce the computational and memory costs of evaluating Deep Learning Models by representing their weights and activations with low-precision data types like 8-bit integer (int8) instead of the usual 32-bit floating point (float32). Reducing the number of bits means the resulting model requires less memory storage, which is crucial for deploying Large Language Models
PytorchによるLLMの高速化
アドベントカレンダー「ほぼ横浜の民」の11日目の記事です。 今年は LLM の高速化実装について書いています。私はLLMの専門家ではないですが前々から興味があったので少し勉強してみました。 この記事を読んでわかること LLMが文章を生成する仕組み torch.compile によって LLM はどのように高速化されるのか？ Speculative Decoding とは？ 背景 少し前に Accelerating Generative AI with Pytorch II: GPT, Fast という素晴らしいブログ記事を見かけました。この記事は Pytorch チームから出されたもので、素の Pytorch のみを用いて LLM の推論を 10 倍高速化できるというものでした。一体どのように 10 倍もの高速化を実現しているのか気になったので、個人的な勉強も兼ねてこの記事を書いています。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PyTorch 2.6 Release Blog
Pytorch Conference
GitHub - Lightning-AI/LitServe: The easiest way to deploy agents, MCP servers, models, RAG, pipelines and more. No MLOps. No YAML.
GitHub - pytorch/torchchat: Run PyTorch LLMs locally on servers, desktop and mobile
Reducing Model Checkpointing Times by Over 10x with PyTorch Distributed Asynchronous Checkpointing – PyTorch
Ecosystem compatibility with numpy 2.0 · Issue #26191 · numpy/numpy
GitHub - pytorch/torcheval: A library that contains a rich collection of performant PyTorch model metrics, a simple interface to create new metrics, a toolkit to facilitate metric computation in distributed training and tools for PyTorch model evaluations
ExecuTorch Alpha: Taking LLMs and AI to the Edge with Our Community and Partners – PyTorch
Torch compile does not work on python 3.12 · Issue #120233 · pytorch/pytorch
pytorch/torch/distributed/checkpoint/examples/async_checkpointing_example.py at release/2.3 · pytorch/pytorch
Release PyTorch 2.3: User-Defined Triton Kernels in torch.compile, Tensor Parallelism in Distributed · pytorch/pytorch
pytorch-distributed-collective-communication/main.py at main · FrancescoSaverioZuppichini/pytorch-distributed-collective-communication
Google Colab
DeepSpeedExamples/training/imagenet/main.py at master · deepspeedai/DeepSpeedExamples
PyTorch 2: Faster Machine Learning Through Dynamic Python Bytecode Transformation and Graph Compilation
GitHub - pytorch/tensordict: TensorDict is a pytorch dedicated tensor container.
TensorDict