利用Ollama Turbo加速AI模型推理与运行

Ollama Turbo提供数据中心级硬件支持,加速AI模型推理,支持更大模型运行,保护用户隐私并节省本地设备资源。支持CLI、API及多种编程语言库,适用于开发者和研究人员。

Ollama Turbo预览

超级加速模型,硬件升级助力

每月20美元
升级至Turbo

Turbo带来的优势

加速模型推理

  • 使用数据中心级硬件运行模型,大幅提升响应速度。

运行更大模型

  • 升级至最新硬件,支持运行更大型的模型。

隐私优先

  • Ollama不保留您的数据,确保隐私和安全。

节省电池寿命

  • 将模型运行负载从您的Mac、Windows或Linux计算机转移,为其他应用释放性能。

常见问题解答

什么是Turbo?

Turbo是一种使用数据中心级硬件运行开放模型的新方式。许多新模型因过大而无法在广泛可用的GPU上运行,或运行速度极慢。Ollama Turbo提供了一种快速运行这些模型的方式,同时支持Ollama的应用、CLI和API。

Turbo中哪些模型可用?

在预览期间,提供gpt-oss-20b和gpt-oss-120b模型。

Turbo是否与Ollama的CLI兼容?

是的,Ollama的CLI与Turbo模式兼容。更多信息请参阅文档。

Turbo是否与Ollama的API及JavaScript/Python库兼容?

是的,Ollama的API及JavaScript/Python库与Turbo模式兼容。更多信息请参阅文档。

Turbo模式下保留哪些数据?

Ollama不会记录或保留通过Turbo模式进行的任何查询。

Turbo的硬件位于何处?

所有硬件均位于美国。

Turbo的使用限制是什么?

Turbo包含每小时和每日限制,以避免容量问题。基于使用量的计费即将推出,以按量计费方式使用模型。


© 2025 Ollama
[下载] [博客] [文档] [GitHub] [Discord] [X (Twitter)] [联系我们]

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计