サクサク読めて、アプリ限定の機能も多数！
“FlexGen は、LLM 推論のリソース要件を 1 つのコモディティ GPU (T4、3090 など) にまで下げ、さまざまなハードウェア セットアップの柔軟な展開を可能にすることを目的としています。”
misshiki のブックマーク 2023/02/21 14:34
このブックマークにはスターがありません。 最初のスターをつけてみよう！
github.com/FMInference2023/02/21
In recent years, large language models (LLMs) have shown great performance across a wide range of tasks. Increasingly, LLMs have been applied not only to interactive applications (such as chat), bu...
36 人がブックマーク・2 件のコメント
＼ コメントが サクサク読める アプリです ／
“FlexGen は、LLM 推論のリソース要件を 1 つのコモディティ GPU (T4、3090 など) にまで下げ、さまざまなハードウェア セットアップの柔軟な展開を可能にすることを目的としています。”
このブックマークにはスターがありません。
最初のスターをつけてみよう！
GitHub - FMInference/FlexGen: Running large language models on a single GPU for throughput-oriented scenarios.
In recent years, large language models (LLMs) have shown great performance across a wide range of tasks. Increasingly, LLMs have been applied not only to interactive applications (such as chat), bu...
36 人がブックマーク・2 件のコメント
＼ コメントが サクサク読める アプリです ／