https://blog.qife122.com/tags/%E5%8F%82%E6%95%B0%E7%AE%A1%E7%90%86/ Recent content in 参数管理 on 办公AI智能小助手 Hugo zh-cn qife Sun, 14 Sep 2025 12:31:03 +0800 https://blog.qife122.com/p/%E4%B8%87%E4%BA%BF%E5%8F%82%E6%95%B0%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83%E7%9A%84%E4%BA%91%E7%AB%AF%E6%89%A9%E5%B1%95%E6%8A%80%E6%9C%AF/ Sun, 14 Sep 2025 12:31:03 +0800 https://blog.qife122.com/p/%E4%B8%87%E4%BA%BF%E5%8F%82%E6%95%B0%E6%A8%A1%E5%9E%8B%E8%AE%AD%E7%BB%83%E7%9A%84%E4%BA%91%E7%AB%AF%E6%89%A9%E5%B1%95%E6%8A%80%E6%9C%AF/ <p>在早先的一篇科学博客中，曾提出MiCS方法，该方法显著提升了参数规模达1750亿的机器学习模型的训练效率。然而，为了在新任务中实现可靠的少样本学习，自然语言处理模型仍需向万亿参数规模扩展。本文介绍对MiCS的两项新增强，使某中心的客户能够训练和微调万亿参数规模的模型：（1）连续参数管理；（2）预取激活卸载。</p>