https://b.hatena.ne.jp/entry/s/qiita.com/kenmatsu4/items/3126a7ff8d626f220202 こんにちは、DeNAでデータサイエンティストをやっているまつけんです。 今回は、TransformerのKVキャッシュを用いたDecode処理について解説していきたいと思います。 Transformerの推論処理には以下のように２段... https://b.hatena.ne.jp/simplememofast/20260819#bookmark-4791800341117036866 層ごとにK,Vを保持するため長文生成はメモリ帯域律速になりやすい。記事が最後に触れた増大対策は、GQAでKVを共有するかPagedAttentionで断片化を抑えるのが定番 2026-08-19T12:08:45Z https://b.hatena.ne.jp/single_wing/20260819#bookmark-4791800341117036866 2026-08-19T10:19:57Z あとで読む https://b.hatena.ne.jp/misshiki/20260819#bookmark-4791800341117036866 TransformerのDecodeは、過去のK/VをKVキャッシュから再利用し、新規1トークン分だけ計算。系列全体の再計算を避けて効率化できる一方、長文ではキャッシュ容量が増大する。 2026-08-19T09:43:07Z Transformer https://b.hatena.ne.jp/imomohi/20260819#bookmark-4791800341117036866 2026-08-19T07:54:19Z https://b.hatena.ne.jp/i-jumpmjag0j2205/20260819#bookmark-4791800341117036866 2026-08-19T05:33:02Z https://b.hatena.ne.jp/miguchi/20260819#bookmark-4791800341117036866 2026-08-19T02:36:33Z