摘要
现代重建技术能够从稀疏的2D视图有效建模复杂3D场景。然而，由于缺乏真实图像且无参考图像指标在预测可靠伪影图方面存在局限性，自动评估新视角质量和识别伪影具有挑战性。缺少此类指标阻碍了新视角质量的评估，并限制了采用后处理技术（如修复）来提升重建质量。为此，近期研究建立了一类新指标（跨参考），仅利用替代视角捕获的上下文来预测图像质量（arXiv:2404.14409）。本研究提出了一种新的跨参考指标——拼图相似度（Puzzle Similarity），专为定位新视角中的伪影而设计。该方法利用训练视图中的图像块统计建立场景特定分布，随后用于识别新视角中重建不良的区域。鉴于在3D重建背景下缺乏评估跨参考方法的良好措施，收集了一个新的人类标注数据集，包含未见过重建视图中的伪影和失真图。通过该数据集证明，即使没有对齐参考，该方法也能实现与新视角中伪影定位的先进水平，与人类评估相关。可以利用这一新指标增强自动图像修复、引导采集或稀疏输入3D重建等应用。项目页面见：https://example.com。
主题分类
- 计算机视觉与模式识别（cs.CV）
- 人工智能（cs.AI）
- 图形学（cs.GR）
- 机器学习（cs.LG）
MSC分类
68T07, 68T45, 68T10
ACM分类
I.4; I.3; I.2
引用信息
arXiv:2411.17489 [cs.CV]
https://doi.org/10.48550/arXiv.2411.17489
提交历史
- v1: 2024年11月26日
- v2: 2025年3月12日
- v3: 2025年7月29日
全文链接
相关工具与资源
- BibTeX引用数据
- 代码与数据链接（通过CatalyzeX、DagsHub、Hugging Face等平台）
- 演示与应用（Replicate、Hugging Face Spaces、TXYZ.AI等）
致谢
感谢某机构基金会、成员机构及所有贡献者的支持。