为什么我们仍在扁平化嵌入空间？

当前大多数密集检索系统依赖于余弦相似度或点积，这种方法隐式假设嵌入空间是平坦的。然而，嵌入空间通常存在于具有非均匀结构的弯曲流形上——包括密集区域、语义间隙和非对称路径。

作者正在探索以下方法的应用：

• Ricci曲率作为重排序信号
• 软图结构以保持局部密度
• 训练过程中的测地感知损失

并询问其他人是否尝试过类似方法，特别是在信息检索、问答系统或可解释性领域。作者表示如果有兴趣，愿意分享在FiQA/BEIR数据集上的实验结果。

用户评论

PaulHoule（18分钟前）：
自从Transformer出现之前，我就一直为此困扰。
最有趣的函数可能是G(t)——乔姆斯基所说的语法函数，当t形式正确时返回真，否则返回假。
G(t)在t上不是流形，因为它不连续，其在嵌入空间中的投影也不可能是连续的。这让我感到困惑，让我觉得在嵌入空间中工作是不合理的，但显然它是有效的。
如果你在嵌入空间中有两个代表形式正确序列的点，并在它们之间画一条插值线，你会认为中间必然存在对应错误形式序列的点。对高维空间的直觉是有问题的，但我想象其中必然存在类似揉成团的二维纸在三维空间中的结构，或者像千层酥皮一样折叠的结构。

考虑申请YC 2025年秋季批次！申请开放至8月4日
指南 | 常见问题 | 列表 | API | 安全 | 法律 | 申请YC | 联系我们
搜索：