https://blog.qife122.com/tags/%E8%BD%BB%E9%87%8F%E7%BA%A7%E6%A8%A1%E5%9E%8B/ Recent content in 轻量级模型 on 办公AI智能小助手 Hugo zh-cn qife Mon, 08 Dec 2025 11:36:29 +0800 https://blog.qife122.com/p/%E5%9C%A8%E5%B5%8C%E5%85%A5%E5%BC%8Flinux%E7%B3%BB%E7%BB%9F%E4%B8%8A%E9%83%A8%E7%BD%B2%E8%BD%BB%E9%87%8F%E7%BA%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E5%AE%8C%E6%95%B4%E6%8C%87%E5%8D%97/ Mon, 08 Dec 2025 11:36:29 +0800 https://blog.qife122.com/p/%E5%9C%A8%E5%B5%8C%E5%85%A5%E5%BC%8Flinux%E7%B3%BB%E7%BB%9F%E4%B8%8A%E9%83%A8%E7%BD%B2%E8%BD%BB%E9%87%8F%E7%BA%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E5%AE%8C%E6%95%B4%E6%8C%87%E5%8D%97/ <h1 id="在嵌入式linux上使用litellm部署轻量级语言模型">在嵌入式Linux上使用LiteLLM部署轻量级语言模型</h1> <p>随着人工智能成为智能设备、嵌入式系统和边缘计算的核心，能够本地运行语言模型（无需依赖云端）变得至关重要。无论是为了降低延迟、提升数据隐私性还是实现离线功能，本地AI推理都为各行各业开辟了新的机遇。LiteLLM为将大型语言模型引入资源受限的设备提供了一个实用的解决方案，弥合了强大AI工具与嵌入式硬件限制之间的鸿沟。</p>