https://blog.qife122.com/tags/%E8%BD%BB%E9%87%8F%E7%BA%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B/ Recent content in 轻量级语言模型 on 办公AI智能小助手 Hugo zh-cn qife Wed, 31 Dec 2025 16:05:31 +0800 https://blog.qife122.com/p/%E5%9C%A8%E5%B5%8C%E5%85%A5%E5%BC%8Flinux%E4%B8%8A%E9%83%A8%E7%BD%B2%E8%BD%BB%E9%87%8F%E7%BA%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E4%BD%BF%E7%94%A8litellm%E7%9A%84%E5%AE%8C%E6%95%B4%E6%8C%87%E5%8D%97/ Wed, 31 Dec 2025 16:05:31 +0800 https://blog.qife122.com/p/%E5%9C%A8%E5%B5%8C%E5%85%A5%E5%BC%8Flinux%E4%B8%8A%E9%83%A8%E7%BD%B2%E8%BD%BB%E9%87%8F%E7%BA%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E4%BD%BF%E7%94%A8litellm%E7%9A%84%E5%AE%8C%E6%95%B4%E6%8C%87%E5%8D%97/ <h1 id="如何在嵌入式linux上用litellm部署轻量级语言模型">如何在嵌入式Linux上用LiteLLM部署轻量级语言模型</h1> <p>随着AI在智能设备、嵌入式系统和边缘计算中变得至关重要，能够在本地运行语言模型——无需依赖云端——变得至关重要。无论是为了降低延迟、提高数据隐私，还是实现离线功能，本地AI推理都为各行各业开辟了新的机遇。LiteLLM提供了一个实用的解决方案，可将大型语言模型引入资源受限的设备，弥合强大AI工具与嵌入式硬件限制之间的差距。</p>