WACV：视频与对比学习中的Transformer应用
某中心计算机视觉高级经理在冬季计算机视觉应用会议（WACV）前夕，指出计算机视觉领域两大趋势：Transformer架构的革新性应用，以及自监督/无监督学习技术的突破性进展。
Transformer在视觉数据的突破
Transformer是一种通过注意力机制提升机器学习性能的神经网络架构。与传统卷积神经网络（CNN）依赖局部像素关联不同，Transformer能够建立长程依赖关系，在处理视频等结构化数据时表现出显著优势。
某中心研究表明，通过将图像分块输入Transformer，或结合CNN提取的中层特征进行全局关联，能够达到与卷积网络相当的精度水平。更重要的是，Transformer在视频目标追踪、跨模态信息融合（如音频-文本-视频联合处理）方面展现出强大潜力，为电影语义分析、无人零售等场景提供技术支撑。
对比学习的无监督创新
对比学习通过输入成对样本（同类/异类），使神经网络学习生成具有聚类特性的向量表示。关键技术突破在于：
- 通过激进数据增强（如色彩调整、裁剪加噪）构建语义相似样本对
- 利用大规模图像嵌入库筛选困难样本进行差异化学习
- 最终仅需少量标注数据训练线性层即可实现高性能分类
实际应用与未来方向
两项WACV研究成果展示了具体应用：
- 非均匀时序聚合模型：使用自注意力机制确定视频关键帧，提升动作识别精度
- 自监督动作解析：在体操动作数据集中无监督预测翻转等细粒度动作
未来视频研究需重点解决时序维度建模问题，探索区别于空间维度的特有信号处理方法。
相关论文：
- 《NUTA：面向动作识别的非均匀时序聚合》
- 《SSCAP：无监督时序动作分割的自监督共现动作解析》