LLM 基盤モデルアトラス ～大規模言語モデルと個人開発者～ - Qiita

概要 学習済 LLM(大規模言語モデル)のパラメータ数と食うメモリ容量（予想含む）、ホストできるGPUを調べたメモ ※適宜修正、拡充していく。 左半分：LLMのパラメータ数と、必要な GPU メモリ(fp16換算) 右半分：その基盤モデルの推論をするなら、どんなGPUなら実行可能で、それっていくら？ の参考値 読み方： 手元で使う夢 ボーナスで買ったグラボ程度では相手にしてもらえんの 巨大なモデルをコンシューマ向けグラボやT4レベルでなんとか使う夢 量子化 fp16(16bit) を 8bit にする fp16(16bit) を 4bit にする https://github.com/nomic-ai/gpt4all とか FlexGen https://github.com/FMInference/FlexGen 巨大なモデルをメモリやSSDなどを活用してなんとか使う 調査元データ諸元

[gengohouse]

“LLM 基盤モデルアトラス ～大規模言語モデルと個人開発者～”