LLMを軽くする効果的な剪定手法『SliceGPT』 | AIDB

大規模言語モデル（LLM）のサイズを効率的に小さくする技術『SLICEGPT』が発表されました。 この技術は、モデルの重要でない部分を剪定（切り取り）することで、計算資源とメモリの使用量を減らしながらも、高い性能を維持するものです。 実験では巨大なモデルを最大30%圧縮でき、生成タスクや様々なダウンストリームタスクにおいて、元のモデルの性能の90%以上を維持することが可能だと示されました。 参照論文情報 論文タイトル：SliceGPT: Compress Large Language Models by Deleting Rows and Columns URL：https://arxiv.org/abs/2401.15024 機関：ETH Zurich, Microsoft Research, Microsoft 著者：Saleh Ashkboos, Maximilian L. Croc