标签： Transformer优化

KV Cache优化是一种在Transformer架构的大型语言模型推理过程中使用的关键技术，通过缓存自注意力机制中的键（Key）和值（Value）矩阵，避免在生成每个新token时重复计算之前的键值对，从而显著降低计算复杂度和内存开销，提 […]