从结构化搜索到学习排序检索的技术演进

现代搜索应用、广告平台和推荐系统普遍采用多层级信息检索(IR)架构，至少包含候选检索和候选排序两个阶段。检索阶段将可能候选从数百万甚至数十亿缩减至数百个，排序阶段则精细调整最终呈现顺序。这种架构兼具灵活性与可扩展性。

典型搜索流程与技术演进

在音乐搜索场景中，传统学习排序(LTR)模型通过分析用户行为数据（点击、收藏、播放等），结合查询特征、上下文和候选特征进行训练。但该技术仅能优化已检索到的候选集质量。

最新提出的学习排序检索(LTR&R)技术将学习机制延伸至检索阶段，采用上下文多臂老虎机(Contextual Multi-Armed Bandit)这一强化学习方法，动态平衡探索新检索策略与利用已知策略的关系，最小化"遗憾值"。

候选检索技术对比

1. 结构化搜索与查询理解

   • 基于倒排索引的全文检索(如BM25算法)
   • 通过实体质量指标(如歌曲流行度)优化结果
   • 结合元数据的结构化搜索(如Lucene评分)
   • 查询理解技术将查询词映射到实体类别/属性

2. 神经检索模型

   • 基于Transformer的向量搜索(如sentence-BERT)
   • 稀疏向量表示(如SPLADE)
   • 使用k近邻(k-NN)算法进行语义相似度计算
   • 混合检索(词法+向量)在BEIR基准测试中表现优异

3. 记忆索引机制

   • 通过用户行为数据建立查询-实体(Q2E)评分
   • 冷启动时预测文档可能回答的问题
   • 动态更新检索优先级

实际挑战与解决方案

音乐搜索面临查询歧义(如"love"可能指向歌曲、艺人或歌单)、类别交叉(如歌曲跨流派)、内容理解误差等复杂情况。传统静态检索方案无法适应这些动态需求。

LTR&R架构通过以下方式应对：

• 集成多种检索策略生成器
• 使用强化学习优化策略组合
• 特征工程包含：
  • 查询特征(语言类型、意图分类等)
  • 用户画像数据
  • 时间上下文特征
  • 历史行为模式
  • 检索策略性能指标

系统架构优势

1. 简化传统复杂搜索系统
2. 提升模糊查询的召回率
3. 通过探索机制获取反事实数据
4. 动态适应新增实体和属性

该技术方案可扩展应用于广告平台、电商推荐等需要精准候选检索的场景，为多阶段排序架构提供更优质的输入候选集。