Curated Transformers v1.0.0 发布与技术更新

Curated Transformers 发布首个稳定版本 v1.0.0,支持 Llama 2 和 Falcon 新解码器架构,新增 ALiBi 自注意力机制、torch.compile 兼容性、词汇掩码与 top-p 过滤等 logit 变换功能,并优化了模型构建块与 API 文档。

Curated Transformers v1.0.0(初学者的幸运)发布

在技术预览版发布三周后,很高兴宣布 Curated Transformers 的首个稳定版本!🎉 从该版本开始,将遵循语义版本控制指南提供稳定的 API。当然,此版本也包含了许多新功能。

✨ 自版本 0.9.0 以来的新功能和改进

  • 支持 Llama 2(#263, #265)。
  • 支持 Falcon 新解码器架构,用于 400 亿参数模型(#253)。
  • 为自注意力层支持 ALiBi(#252),并支持带有 ALiBi 的 Falcon(#260)。
  • 支持 torch.compile(#257)和所有模型的 TorchScript 跟踪(#262, #266)。
  • 新的 logit 变换:词汇掩码(#245)和 top-p 过滤(#255)。
  • 支持从某中心 Hub 下载分词器时的身份验证(#267)。
  • 对构建块进行了许多改进,例如模型之间的共享配置(#258)和共享编码器/解码器层(#248)。因此,大多数模型定义非常简短。
  • API 和文档经过大量打磨,以实现 1.x.y 版本的语义版本控制保证。

👥 贡献者

@danieldk, @honnibal, @ines, @shadeMe, @svlandeg

资源

  • 源代码 (zip):2023-08-03T09:40:45Z
  • 源代码 (tar.gz):2023-08-03T09:40:45Z

反应:

  • 🎉 6 个反应
  • 🚀 4 个反应
comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计