https://blog.qife122.com/tags/%E6%95%B0%E6%8D%AE%E6%89%A9%E5%B1%95/ Recent content in 数据扩展 on 办公AI智能小助手 Hugo zh-cn qife Wed, 10 Sep 2025 15:38:00 +0800 https://blog.qife122.com/p/%E6%95%B0%E6%8D%AE%E5%8F%97%E9%99%90%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%89%A9%E5%B1%95%E6%B3%95%E5%88%99%E7%A0%94%E7%A9%B6/ Wed, 10 Sep 2025 15:38:00 +0800 https://blog.qife122.com/p/%E6%95%B0%E6%8D%AE%E5%8F%97%E9%99%90%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%89%A9%E5%B1%95%E6%B3%95%E5%88%99%E7%A0%94%E7%A9%B6/ <h2 id="摘要">摘要</h2> <p>当前扩展语言模型的趋势涉及增加参数数量和训练数据集规模。推断这一趋势表明，训练数据集规模可能很快受到互联网上可用文本数据量的限制。受此限制的启发，研究调查了在数据受限情况下扩展语言模型的方法。具体而言，进行了大量实验，改变数据重复程度和计算预算，训练标记高达9000亿次，模型参数达90亿个。发现对于固定计算预算，使用最多4个周期的重复数据训练，与使用唯一数据相比损失变化可忽略不计。但随着重复增加，增加计算的价值最终衰减至零。提出并实证验证了考虑重复令牌价值递减和多余参数的计算最优性扩展定律。最后，实验了缓解数据稀缺的方法，包括用代码数据增强训练数据集或移除常用过滤器。400次训练运行的模型和数据集可在https://github.com/huggingface/datablations 免费获取。</p>