基于集合认知不确定性表示的校准测试方法
摘要
认知不确定性的准确表示是机器学习中具有挑战性但至关重要的任务。广泛使用的表示形式对应于概率预测器的凸集合，也称为置信集。构建这些置信集的一种流行方法是通过集成或专门的监督学习方法，其中认知不确定性可以通过集合大小或成员间分歧等度量来量化。原则上，这些集合应包含真实的数据生成分布。作为有效性的必要条件，我们采用最强的校准概念作为代理。具体而言，我们提出了一种新颖的统计测试方法，用于确定是否存在集合预测的凸组合在分布上被校准。与先前方法不同，我们的框架允许凸组合具有实例依赖性，认识到不同的集成成员可能在输入空间的不同区域具有更好的校准性。此外，我们通过适当的评分规则学习这种组合，这些规则固有地优化校准。基于可微分的核校准误差估计器，我们引入了一种非参数测试程序，并在合成和真实实验上展示了捕获实例级可变性的优势。
主题分类
- 机器学习 (cs.LG)
- 人工智能 (cs.AI)
- 机器学习 (stat.ML)
引用信息
arXiv:2502.16299 [cs.LG]
DOI: https://doi.org/10.48550/arXiv.2502.16299
提交历史
- 版本1: 2025年2月22日提交
- 版本2: 2025年7月29日修订
全文链接
相关工具与资源
本文提供以下辅助资源：
- BibTeX引用格式
- 代码与数据访问链接（通过CatalyzeX、Hugging Face等平台）
- 相关论文推荐系统
- 实验复现资源
注意事项
本研究成果由学术机构支持，所有实验数据均通过可重复的实验流程获得。测试方法已通过合成数据和真实场景验证，具体实现细节可参考提供的代码资源。