Appleが、LLMのパラメータを「SSDなどの外部フラッシュメモリに保存し」PCで効率的にモデルを使用する手法を開発 | AIDB

参照論文情報 タイトル：LLM in a flash: Efficient Large Language Model Inference with Limited Memory 著者：Keivan Alizadeh, Iman Mirzadeh, Dmitry Belenko, Karen Khatamifard, Minsik Cho, Carlo C Del Mundo, Mohammad Rastegari, Mehrdad Farajtabar 所属：Apple URL：https://arxiv.org/abs/2312.11514 本記事の関連研究：LLMへの入力プロンプトを「意味を保持したまま」高度に圧縮する技術『LLMLingua』 研究背景 LLMは高性能ですが、多くの計算能力とメモリ（情報を一時的に保存する部分）を必要とします。 そのためメモリ容量が限られているデバイス

[logiteca7]

“低ランク予測器”

[objectiveworker]

XcodeやiOSがうまく動かないのをLLMでなんとかして欲しいのだが。

[nezuku]

Appleこの業界の中でも研究論文とかを出す感じではないので、自分のところのAシリーズやMシリーズのRAMやVRAMを積みまくれないハードウェアの上でもLLMを駆動できることを示したい意思がありそう。

[t_trad]

プライバシー・データ保護の観点などからいっても、こういったエッジデバイスAIの技術開発はAppleが最も動機が強い

[julajp]

既にあるリソースを活かして（既にあるものだから価格、性能こなれている）現実的に効率を上げ、性能を引き出す。なるほどですね。

[naggg]

ブコメにもあったけど、Appleの論文自体が珍しいような・・・

[misshiki]

“Appleの研究者らは、LLMのパラメータをSSDなどの外部フラッシュメモリに保存し、接続したPCなどで読み込み使用する手法を開発しました。”