https://blog.qife122.com/tags/%E5%8F%82%E6%95%B0%E9%AB%98%E6%95%88%E5%BE%AE%E8%B0%83/ Recent content in 参数高效微调 on 办公AI智能小助手 Hugo zh-cn qife Sun, 14 Sep 2025 00:26:26 +0800 https://blog.qife122.com/p/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%BE%AE%E8%B0%83%E5%AF%B9%E8%87%AA%E5%8A%A8%E7%A8%8B%E5%BA%8F%E4%BF%AE%E5%A4%8D%E7%9A%84%E5%BD%B1%E5%93%8D/ Sun, 14 Sep 2025 00:26:26 +0800 https://blog.qife122.com/p/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E5%BE%AE%E8%B0%83%E5%AF%B9%E8%87%AA%E5%8A%A8%E7%A8%8B%E5%BA%8F%E4%BF%AE%E5%A4%8D%E7%9A%84%E5%BD%B1%E5%93%8D/ <h1 id="摘要">摘要</h1> <p>自动程序修复（APR）采用多种工具与技术帮助开发者更快获得功能完善且无错误的代码。近年来，大语言模型（LLMs）因其卓越性能与灵活性，已成为APR工具链中的热门组件。然而训练此类模型需消耗大量资源。微调技术被开发用于将预训练LLMs适配至特定任务（如APR），并以远低于从头训练的计算成本提升其性能。本研究通过实证方法探究不同微调技术对APR任务中LLMs性能的影响。实验针对一组先进的代码预训练LLMs展开性能分析，评估基于三个主流APR基准（QuixBugs、Defects4J和HumanEval-Java），涵盖六种不同参数规模的模型（包括CodeGen、CodeT5、StarCoder、DeepSeekCoder、Bloom和CodeLlama-2）。研究对比三种训练方案：无微调、全参数微调以及采用LoRA和IA3的参数高效微调（PEFT）。实验发现全参数微调会因数据分布差异和过拟合导致模型基准性能下降，而参数高效微调通过限制可训练参数量取得了更优结果。</p> https://blog.qife122.com/p/ Sat, 13 Sep 2025 00:30:14 +0800 https://blog.qife122.com/p/ <h2 id="摘要">摘要</h2> <h2 id="方法">方法</h2> <h2 id="结果">结果</h2> <p>该方法优于当前最先进方法，总体F1值达到0.98。同时研究了参数高效微调（PEFT）技术（如低秩适应LoRA），证明其可作为全微调的经济替代方案，且性能损失极小。</p>