CaliDrop：KV缓存压缩与校准技术
大语言模型（LLMs）在生成过程中需要大量计算资源。虽然键值（KV）缓存通过存储注意力中间结果显著加速了这一过程，但其内存占用会随序列长度、批处理大小和模型规模线性增长，在长上下文场景中形成瓶颈。
技术背景
现有KV缓存压缩技术主要包括：
- 令牌驱逐（Token eviction）
- 量化（Quantization）
- 低秩投影（Low-rank projection）
这些方法通常相互补充，而本文重点改进令牌驱逐策略。该策略基于注意力模式通常稀疏的特性，通过移除非关键KV条目来节省内存。
技术挑战
传统令牌驱逐方法存在明显缺陷：
- 在高压缩比下会导致显著的精度下降
- 缺乏对丢弃令牌的补偿机制
CaliDrop解决方案
通过实验发现相邻位置的查询具有高度相似性，基于此提出创新性方法：
- 校准机制：对丢弃令牌执行推测性校准
- 精度补偿：有效缓解令牌驱逐造成的精度损失
- 兼容性：可增强现有令牌驱逐方法的准确性
实验结果
大规模实验表明：
- 内存占用显著降低
- 在相同压缩比下精度损失减少
- 适用于多种长上下文场景
该技术为大语言模型的高效部署提供了新的优化方向，特别适合资源受限的应用环境。