https://blog.qife122.com/tags/pagedattention/ Recent content in PagedAttention on 办公AI智能小助手 Hugo zh-cn qife Wed, 01 Oct 2025 20:35:22 +0800 https://blog.qife122.com/p/%E4%BD%BF%E7%94%A8vllm%E4%BC%98%E5%8C%96%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E6%9C%8D%E5%8A%A1%E4%BB%8E0.68%E5%88%B010%E8%AF%B7%E6%B1%82/%E7%A7%92%E7%9A%84%E6%80%A7%E8%83%BD%E9%A3%9E%E8%B7%83/ Wed, 01 Oct 2025 20:35:22 +0800 https://blog.qife122.com/p/%E4%BD%BF%E7%94%A8vllm%E4%BC%98%E5%8C%96%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E6%9C%8D%E5%8A%A1%E4%BB%8E0.68%E5%88%B010%E8%AF%B7%E6%B1%82/%E7%A7%92%E7%9A%84%E6%80%A7%E8%83%BD%E9%A3%9E%E8%B7%83/ <h2 id="llm推理成本">LLM推理成本</h2> <p>现代GPU对于运行大语言模型至关重要。NVIDIA H100等企业级GPU价格高达3-4万美元。低效的内存管理会导致昂贵的GPU集群只能服务少量用户，而不是数十个用户。</p>