参照論文情報 タイトル:LLM in a flash: Efficient Large Language Model Inference with Limited Memory 著者:Keivan Alizadeh, Iman Mirzadeh, Dmitry Belenko, Karen Khatamifard, Minsik Cho, Carlo C Del Mundo, Mohammad Rastegari, Mehrdad Farajtabar 所属:Apple URL:https://arxiv.org/abs/2312.11514 本記事の関連研究:LLMへの入力プロンプトを「意味を保持したまま」高度に圧縮する技術『LLMLingua』 研究背景 LLMは高性能ですが、多くの計算能力とメモリ(情報を一時的に保存する部分)を必要とします。 そのためメモリ容量が限られているデバイス
![Appleが、LLMのパラメータを「SSDなどの外部フラッシュメモリに保存し」PCで効率的にモデルを使用する手法を開発 | AIDB](https://cdn-ak-scissors.b.st-hatena.com/image/square/ea17a5714d3e33303845e940b385e0e104646f57/height=288;version=1;width=512/https%3A%2F%2Faiboom.net%2Fwp-content%2Fuploads%2F2023%2F12%2FAIDB_61006-1024x576.jpg)