GitHub - FMInference/FlexGen: Running large language models on a single GPU for throughput-oriented scenarios.

In recent years, large language models (LLMs) have shown great performance across a wide range of tasks. Increasingly, LLMs have been applied not only to interactive applications (such as chat), but also to many "back-of-house" tasks. These tasks include benchmarking, information extraction, data wrangling, and form processing. One key characteristic of these applications is that they are throughp

[stealthinu]

FlexGen使うとでかいLLMでも3090一枚程度のGPUメモリリソースでも実用的な推論が可能になるらしい。計算回すループ順を工夫して少ないGPUメモリでも動くようにしてある。すげええ！

[misshiki]

“FlexGen は、LLM 推論のリソース要件を 1 つのコモディティ GPU (T4、3090 など) にまで下げ、さまざまなハードウェア セットアップの柔軟な展開を可能にすることを目的としています。”