重排器比大型语言模型（LLM）快几个数量级，且成本更低。在适度规模（约40亿参数）的交叉编码器上，使用廉价GPU（如A10G）的典型开箱即用延迟将低于50毫秒。您无法在该硬件上运行复杂的大型语言模型，且未经调优的情况下，延迟至少需要数百毫秒。
考虑申请YC 2026年冬季批次！申请截止至11月10日。
重排器比大型语言模型（LLM）快几个数量级，且成本更低。在适度规模（约40亿参数）的交叉编码器上，使用廉价GPU（如A10G）的典型开箱即用延迟将低于50毫秒。您无法在该硬件上运行复杂的大型语言模型，且未经调优的情况下，延迟至少需要数百毫秒。
考虑申请YC 2026年冬季批次！申请截止至11月10日。