基于神经网络的搜索意图预测技术解析

本文介绍了一种基于卷积神经网络的搜索意图预测系统,通过分析用户查询自动识别使用场景和受众类别,能有效提升产品搜索的相关性和准确性,减少对人工标注数据的依赖。

预测用户搜索意图:基于神经网络的使用场景识别技术

在电子商务平台中,当用户输入"防水女鞋"这类查询时,其背后可能隐藏着截然不同的使用场景:可能是为了通勤途中防雨,也可能是为徒步旅行做准备。传统产品发现算法通常关注查询与产品的关联性,但最佳匹配结果往往取决于具体的使用场景。

技术实现方案

数据分类体系

首先建立包含173个类别的使用场景分类体系,其中112个为活动类别(如阅读、清洁、跑步),61个为受众类别(如儿童、女儿、男性、专业人士)。该分类由领域专家基于常见产品查询确定。

自动化数据准备

采用自动化流程准备训练数据:

  • 使用标准参考文本为类别术语创建别名(如"mother"的别名包括"mum"、“mom"等)
  • 通过内部数据集关联数百万产品与查询字符串
  • 扫描产品评论中出现的类别术语或其别名,进行二元分类标注
  • 利用1-15分的亲和度评分表示查询-产品关联强度

模型训练

使用卷积神经网络训练六个机器学习模型:

  • 将数据按活动和受众类别分为两个数据集
  • 每个数据集分别设置亲和度阈值15和8
  • 采用二元交叉熵和B加权二元交叉熵两种损失函数
  • 最佳模型使用亲和度阈值8的普通二元交叉熵

性能表现

测试结果显示:

  • 活动类别预测准确率达到97%
  • 受众类别预测准确率达到92%
  • 人工评审员与系统预测的平均一致率为81%

应用价值

该方法可通过识别使用场景显著提升产品发现算法的相关性,改善用户体验。同时,训练数据准备所需的人工监督极少,使得该方法能够以较小成本扩展到新的类别领域。

本文相关研究发表于CHIIR 2020会议,完整论文标题为《使用客户评论进行主观搜索意图预测》。

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计