长视频理解与合成技术研究

在某中心计算机视觉团队发表于CVPR 2024的四篇论文中，提出了一系列针对长视频内容理解与生成的前沿技术方案。

基于电影元数据的场景表示学习

论文《Movies2Scenes: 利用电影元数据学习场景表示》提出了一种新颖的对比学习方法，仅使用常见的电影元数据（类型、剧情简介等）即可学习通用场景表示。在多个基准数据集上的实验表明，该方法在长视频理解（LVU）数据集的7个分类任务中平均提升7.9%，在两个回归任务中提升9.7%。该方法为构建电影理解基础模型迈出重要一步。

选择性结构化状态空间模型

《选择性结构化状态空间用于长视频理解》论文扩展了S4模型，通过轻量级掩码生成器自适应选择信息丰富的图像token，实现对视频中长期时空依赖关系的高效建模。该方法在保持准确率提升最高达9.6%的同时，将内存占用减少23%。

基于强化学习的多模态动态推理

针对多模态模型计算冗余问题，《基于 grounding 的视觉语言模型动态推理》提出通过动态跳过网络层、丢弃输入token和融合多模态token的方法。实验显示，该方法在多个下游任务中将最新模型的运行效率提升高达50%，而准确率仅下降0.3%。

图像协调的标签高效学习

《LEMaRT: 标签高效掩码区域变换用于图像协调》解决了图像协调模型对大量标注数据的依赖问题。该方法通过自动模拟外观缺陷生成训练数据，在使用50%标注数据微调时性能超越现有最佳方法0.4dB（MSE提升约9%），使用全量数据时优势扩大至1.0dB（MSE提升约21%）。

技术实现细节

电影理解基础模型构建

通过从数千部电影中自动识别500多万个场景（包含超过4500万帧），构建无需人工标注的训练模型。利用电影相似性度量定义对比学习中的正负样本对，确保场景在视觉和语义层面的一致性。

长视频时空建模优化

针对长视频中复杂的时空依赖关系，提出选择性S4（S5）模型。通过动量更新的S4模型指导token选择，结合长短掩码对比学习（LSMCL）方法，增强模型鲁棒性和长时程预测能力。

多模态推理加速

采用强化学习训练智能体，动态决策网络层跳过、token剪枝和多模态融合策略。在指代表达理解、分割和视觉问答任务中，显著提升MDETR和GLIP等模型的推理效率。

图像协调自监督预训练

LEMaRT方法通过亮度、色调调整等变换自动生成合成图像，结合改进的Swin Transformer架构（SwinIH），在局部和全局自注意力机制协同下实现更真实的图像协调效果。

这些技术突破为长视频内容分析和生成提供了新的解决方案，在减少计算资源消耗的同时显著提升模型性能。