DeepSeek V3.2-Exp:新的稀疏注意力和减半的API成本
中国AI初创公司DeepSeek发布了其语言模型的实验版本V3.2-Exp,同时将其API服务价格降低了超过50%。据该公司在其Hugging Face页面上表示,新版本标志着向下一代AI架构的中间步骤。
这家成立于2023年的公司,今年初曾因其R1模型在硅谷引起轰动,据称正在与中国芯片制造商合作开发其模型。新版本V3.2-Exp基于较旧的V3.1模型构建,并引入了一项名为DeepSeek稀疏注意力(DSA)的新技术。
稀疏注意力技术旨在提高处理长文本序列的效率。虽然大型语言模型中的传统注意力机制同时考虑所有标记,但DSA仅关注输入中最相关的部分。据DeepSeek称,这显著减少了计算工作量,而不会显著影响输出质量。
与模型发布同时,DeepSeek宣布将其API服务价格大幅降低超过50%。新费率立即生效,旨在帮助公司获得更多用户。作为比较,现有的V3.1-Terminus模型将在2025年10月15日之前通过临时API提供。
华为支持和新数据格式
中国领先的AI芯片供应商华为宣布,其产品将支持最新的DeepSeek模型。
DeepSeek还表示,其最新版本的模型可以处理简单的8位浮点值(FP8),同时正在实施BF16(Brain Floating Point 16)。理论上,FP8可以实现内存节省和更快计算,因为它需要更少存储空间且矩阵相对简单。尽管FP8不如FP32等经典格式精确,但对于AI应用来说被认为足够准确。
而BF16则在速度和精度之间提供了折衷。支持这两种格式旨在使得能够在资源有限的硬件上运行大型模型。
API价格降低50%
通过降价超过50%,DeepSeek在竞争激烈的AI API市场中采取了积极定位。该公司借此加入了一系列希望通过低价赢得市场份额的中国初创公司行列。DeepSeek的输入标记价格从现在起每百万标记0.28美元,而非之前的0.56美元。使用缓存时,价格甚至降至0.028美元。一百万输出标记成本为0.42美元。对中国模型在数据保护和中国的国家审查方面存在保留意见。