课程进度 85% · 第6/6章第6/6章 · 标签 1/8
— 1 —
先定义搜索质量
高级搜索首先要能证明改动有用。以课程检索为例，收集真实但脱敏的查询，标注哪些课程相关，并按术语查询、自然语言提问和拼写错误分组。留出独立评估集，不能一边用同一批查询调权重，一边用它宣布效果提升。
标注样本还应区分“正确但太深”和“适合当前学习阶段”。新手搜事务，底层源码课可能相关却不是最佳首条结果。可以把相关性分成多个等级，再选择与产品目标相符的指标，而不是默认所有相关课程价值完全相同。
— 2 —
准确率、召回率与首条结果
Precision@K 衡量前 K 条有多少相关结果；Recall@K 衡量已知相关文档中找回多少；MRR 关注首条相关结果的位置。已知相关集合不完整时，召回率只能按当前标注集合估计。平均数还应按查询类型拆开，避免热门词掩盖少见术语的退步。
这些指标回答不同问题：前几条是否有用、相关内容是否漏掉、用户能否尽早找到答案。一次改动可能让首条更好却减少长尾覆盖，因此评估报告应把多个视角并列，解释所选择的权衡。
- 前五条中三条相关：Precision@5 为 3/5。
- 已标注四条相关，前五条找到三条：Recall@5 为 3/4。
- 第一条相关排第三：该查询的倒数排名为 1/3。