语言模型对话的碳成本:可持续性时代的挑战
大型语言模型(如GPT-3和BERT)虽然革新了自然语言处理领域,但其环境成本仍被严重忽视。本文批判性分析了大型语言模型的可持续性,通过案例研究(包括GPT-4和能效替代方案Mistral 7B)量化了其碳足迹、水资源消耗及电子废弃物贡献。
训练单个大型语言模型所产生的二氧化碳排放量相当于数百辆汽车的年排放量,而数据中心冷却加剧了脆弱地区的水资源短缺问题。系统性挑战——包括企业绿色洗涤、冗余模型开发和监管真空——持续造成危害,尤其对全球南方边缘化社区造成不成比例的负担。
然而,可持续自然语言处理仍存在可行路径:技术创新(如模型剪枝、量子计算)、政策改革(碳税、强制排放报告)以及文化转变(优先考虑必要性而非新颖性)。通过分析行业领先者(某机构、某中心)和落后者(某中心),本研究强调了道德责任和全球合作的紧迫性。若不立即采取行动,人工智能的生态代价可能超过其社会效益。
文章最后呼吁将技术进步与地球边界对齐,倡导建立公平、透明和可再生的AI系统,优先考虑人类和环境福祉。
注释:原文为22页篇幅,包含5个数据表