构建常识知识图谱辅助商品推荐
利用大语言模型识别常识关系，可将下游任务性能提升高达60%。
会议
SIGMOD/PODS 2024
相关出版物
COSMO：某中心大规模电商常识知识生成与服务系统
在某中心商店中，需要提供与客户查询最相关的商品推荐。这通常需要常识推理。例如，当客户查询"孕妇鞋"时，推荐引擎应能推断出孕妇可能需要防滑鞋。
从用户行为中挖掘隐含常识知识
为帮助推荐引擎进行此类常识推断，正在构建一个知识图谱，用于编码商品与使用场景之间的关系——包括功能、受众群体、使用场景等。例如，知识图谱可能使用used_for_audience关系将防滑鞋与孕妇关联。
在2024年6月ACM数据管理国际会议（SIGMOD）上发表的论文中，描述了COSMO框架：使用大语言模型（LLM）从商店用户交互数据中识别隐含常识关系。
COSMO采用递归流程：
- LLM生成关于查询-购买和共同购买数据常识含义的假设
- 结合人工标注和机器学习模型过滤低质量假设
- 人工评审员从高质量假设中提取指导原则
- 基于这些原则的指令用于提示LLM
COSMO框架评估
使用KDD Cup 2022创建的Shopping Queries数据集进行评估。数据集包含查询和商品列表，商品根据与查询的相关性进行评分。
实验中使用三种模型：
- 双编码器（双塔模型）
- 交叉编码器（统一模型）
- 使用COSMO知识图谱关系信息增强的交叉编码器
当编码器固定时，基于COSMO的模型显著优于最佳基线，宏F1分数提高60%。当在测试数据集子集上微调编码器后，所有模型性能显著提升，但基于COSMO的模型仍在宏F1和微F1分数上分别保持28%和22%的优势。
知识图谱构建流程
从两种数据类型开始：
- 查询-购买对：查询与固定时间或点击次数内的购买组合
- 共同购买对：同一购物会话中的购买组合
对数据集进行初始修剪以减少噪声，例如删除购买商品类别在商品图中相距过远的共同购买对。
然后将数据对馈送给LLM，要求使用四种关系之一描述输入间关系：usedFor、capableOf、isA和cause。从结果中筛选出更细粒度的常用关系，使用规范表述（如used_for_function、used_for_event、used_for_audience）进行编码。然后重复该过程，要求LLM使用新的更大关系集进行描述。
LLM在执行此类任务时倾向于生成空推理（如"客户一起购买是因为喜欢"）。因此生成候选关系后，应用各种启发式方法进行筛选。例如，如果LLM的答案与问题语义过于相似，则过滤掉该问答对。
通过筛选的候选关系中，选择代表性子集发送给人工标注员，根据两个标准进行评估：
- 合理性：假设的推理关系是否合理
- 典型性：目标商品是否通常与查询或源商品关联
使用标注数据训练基于机器学习的分类器，为剩余候选分配合理性和典型性分数，仅保留超过阈值的候选。从中提取可编码为LLM指令的句法和语义关系，例如"使用capableOf关系为领域𝑑中的搜索购买行为生成解释"。然后使用适用指令重新评估所有候选对。
最终得到实体-关系-实体三元组（如<共同购买相机壳和屏幕保护膜，capableOf，保护相机>），从中组装知识图谱。
实验模型架构
双编码器模型有两个独立编码器，分别处理客户查询和商品。两个编码器的输出连接后馈送到神经网络模块产生相关性分数。
在交叉编码器中，查询和商品描述的所有相关特征传递到同一编码器。通常交叉编码器性能优于双编码器，因此使用该架构测试COSMO数据有效性。
在第一阶段实验中，使用冻结编码器时：
- 基线模型接收查询-商品对
- 第二个交叉编码器接收查询-商品对及相关COSMO知识图谱三元组
此时基于COSMO的模型显著优于交叉编码器基线，而交叉编码器基线在两个F1指标上都优于双编码器基线。
在第二阶段实验中，在Shopping Queries数据集子集上微调基线模型，并在相同子集和COSMO数据上微调第二个交叉编码器。所有三个模型的性能都显著提升，但COSMO模型在两个F1指标上均保持20%以上的优势。
研究领域
搜索与信息检索
标签
知识图谱、大语言模型(LLM)、推荐系统