预训练语言模型在通用文本嵌入中的技术综述

摘要

文本嵌入因其在自然语言处理（NLP）任务中的有效性而受到广泛关注，这些任务包括检索、分类、聚类、双语文本挖掘和摘要。随着预训练语言模型（PLMs）的出现，通用文本嵌入（GPTE）因其能够生成丰富、可迁移的表示而获得显著关注。GPTE的通用架构通常利用PLMs来导出密集文本表示，然后通过在大规模成对数据集上进行对比学习来优化。

技术架构与基础角色

本综述首先考察了基本架构，并描述了PLMs在GPTE中的基本角色，包括嵌入提取、表达性增强、训练策略、学习目标和数据构建。PLMs作为核心组件，负责将原始文本转换为高维向量表示，这些表示通过对比学习目标进行优化，以捕捉语义相似性。

高级功能扩展

进一步描述了由PLMs实现的高级角色，例如多语言支持、多模态集成、代码理解和场景特定适配。多语言扩展通过跨语言预训练实现统一表示空间；多模态集成将文本与图像、音频等其他模态结合；代码理解模块将PLMs应用于编程语言分析；场景适配则通过微调技术针对特定领域优化表示。

未来研究方向

最后强调了超越传统改进目标的潜在未来研究方向，包括排名集成、安全性考虑、偏见缓解、结构信息整合以及嵌入的认知扩展。排名集成旨在提升检索任务的精度；安全性机制防止恶意使用；偏见缓解通过算法公平性技术减少模型偏差；结构信息整合引入图神经网络等模块；认知扩展探索与人类推理过程的结合。

实验与数据

本综述包含45页内容、2张示意图和9张数据表，系统梳理了当前技术状态与发展脉络，为新手和资深研究者提供全面参考。