https://blog.qife122.com/tags/kv%E7%BC%93%E5%AD%98/ Recent content in KV缓存 on 办公AI智能小助手 Hugo zh-cn qife Sat, 20 Sep 2025 11:07:41 +0800 https://blog.qife122.com/p/kv%E7%BC%93%E5%AD%98%E5%AE%9E%E6%97%B6%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E8%83%8C%E5%90%8E%E7%9A%84%E9%9A%90%E8%97%8F%E5%8A%A0%E9%80%9F%E6%8A%80%E6%9C%AF/ Sat, 20 Sep 2025 11:07:41 +0800 https://blog.qife122.com/p/kv%E7%BC%93%E5%AD%98%E5%AE%9E%E6%97%B6%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E8%83%8C%E5%90%8E%E7%9A%84%E9%9A%90%E8%97%8F%E5%8A%A0%E9%80%9F%E6%8A%80%E6%9C%AF/ <h1 id="kv缓存实时大语言模型背后的隐藏加速技术">KV缓存：实时大语言模型背后的隐藏加速技术</h1> <h2 id="引言为什么llm性能很重要">引言：为什么LLM性能很重要</h2> <p>你是否注意到你的AI助手开始时反应迅速，但随后&hellip;开始变得拖沓或变慢？ 这不仅仅是你一个人的问题。这种减速是大语言模型（LLMs）工作方式的固有特性。大多数LLM使用称为自回归解码的方式逐个令牌生成文本。问题是——响应越长，模型在每个步骤需要做的工作就越多。因此延迟会累积。</p> https://blog.qife122.com/p/kv%E7%BC%93%E5%AD%98%E5%AE%9E%E6%97%B6%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E8%83%8C%E5%90%8E%E7%9A%84%E9%9A%90%E8%97%8F%E5%8A%A0%E9%80%9F%E6%8A%80%E6%9C%AF/ Fri, 19 Sep 2025 13:41:24 +0800 https://blog.qife122.com/p/kv%E7%BC%93%E5%AD%98%E5%AE%9E%E6%97%B6%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E8%83%8C%E5%90%8E%E7%9A%84%E9%9A%90%E8%97%8F%E5%8A%A0%E9%80%9F%E6%8A%80%E6%9C%AF/ <h1 id="kv缓存实时大语言模型背后的隐藏加速技术">KV缓存：实时大语言模型背后的隐藏加速技术</h1> <h2 id="引言为什么llm性能至关重要">引言：为什么LLM性能至关重要</h2> <p>你是否注意到你的AI助手开始时响应迅速，但随后逐渐变慢？这不是你的错觉。这种减速现象深植于大语言模型（LLM）的工作机制中。大多数模型使用自回归解码方式逐token生成文本，而随着响应变长，模型在每个步骤需要完成的工作量呈指数级增长。</p>