3つの要点 ✔️ LLMは入力できるプロンプト長に限度があり、長い文章の要約ができない等の問題 ✔️ プロンプトをパラメータに圧縮して記憶する部分を導入したLLMの注意機構を提案 ✔️ 無限の長さのプロンプトを処理可能に。本の要約タスクで最高性能を達成 Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention written by Tsendsuren Munkhdalai, Manaal Faruqui, Siddharth Gopal (Submitted on 10 Apr 2024) Comments: 9 pages, 4 figures, 4 tables Subjects: Computation and Language (cs.CL); Artificial