はてなブックマーク - Sequential KV Cache Compression via Probabilistic Language Tries: Beyond the Per-Vector Shannon Limit

はてなブックマーク - Sequential KV Cache Compression via Probabilistic Language Tries: Beyond the Per-Vector Shannon Limit https://b.hatena.ne.jp/entry/s/arxiv.org/abs/2604.15356 Recent work on KV cache quantization, culminating in TurboQuant, has approached the Shannon entropy limit for per-vector compression of transformer key-value caches. We observe that this limit appl... takayamaki https://b.hatena.ne.jp/takayamaki/20260505#bookmark-4786254511823598338 KVキャッシュの各エントリをどう圧縮するかはTurboQuantでほぼシャノン限界であり、これ以上はKVキャッシュがseqenceなのを利用して予測delta符号化するしかない、という話を定式化して主張した論文 2026-05-05T07:26:11Z tasukuchan https://b.hatena.ne.jp/tasukuchan/20260421#bookmark-4786254511823598338 2026-04-21T09:59:18Z