基准测试：Jamba在长上下文推理中的表现
AI21的Mamba–Transformer混合架构如何扩展到海量令牌长度及其在实际应用中的使用
引言：为何长上下文AI依然感觉困难
多年来，大型语言模型一直承诺能够理解长上下文。理论上，这意味着可以将整份法律合同、系统设计文档或代码库输入模型，并就其提出有深度的问题。但在实践中，开发者很快会遇到棘手的限制。
随着输入长度的增长，推理变得缓慢、昂贵或不稳定。其根本原因在于架构：传统的Transformer模型依赖自注意力机制，该机制需要将每个令牌与其他所有令牌进行比较。这导致计算和内存需求呈二次方增长。输入长度翻倍，成本增长远不止翻倍。
为了应对，团队采用了一些变通方法：
- 将文档分割成小块
- 构建复杂的检索流水线
- 在推理前进行激进的摘要
创建立即阅读全文 本文为会员专属内容。作者仅向Medium会员开放此故事。如果您是Medium新用户，请创建新账户阅读此文。
在应用中继续阅读 或者，在移动网页上继续
使用谷歌账户注册 | 使用Facebook账户注册 | 使用邮箱注册 已有账户？请登录