Evaluation (Eval) — 评估 — 用可重复任务和评分规则验证系统是否达到明确成功标准。
Success Criteria — 成功标准 — 应具体、可测、可达且与业务目标相关，避免“回答要好”式空泛要求。
Ground Truth — 真实标注 — 是判断输出对错的参照，线上流量通常并不天然具备。
Golden Answer — 金标答案 — 提供正确答案示例或评分依据，不意味着开放题只有唯一措辞。
Reference Solution — 参考解 — 必须能通过全部 grader，用于证明任务可解且评分配置正确。
Held-out Test Set — 留出测试集 — 不参与反复调参，用来估计系统对未见样本的真实泛化能力。
Grader — 评分器 — 架构师应按可确定性选择代码、LLM judge 或人工，并验证评分器自身。
LLM-as-a-Judge — 大模型裁判 — 适合语义和 rubric 判断，但须结构化输出、人工校准并允许 Unknown。
Rubric — 评分量表 — 将模糊质量要求拆成可执行、可复核的判定条件。
Inter-annotator Agreement — 标注者间一致性 — 衡量人工标注可靠度，也用于校准自动 judge。
pass@k — k 次至少一次通过概率 — 适合探索“能否做到”，会随 k 增大而上升。
pass^k — k 次全部通过概率 — 适合衡量重复使用可靠性，会随 k 增大而下降。
Regression Eval — 回归评估 — 保护系统过去已经会的能力，期望通过率接近 100%。
Capability Eval — 能力评估 — 刻意保留难题与低通过率，为下一阶段优化提供爬坡信号。
Observability — 可观测性 — 通过指标、日志与 trace 从外部状态推断系统内部发生了什么。
Transcript — 交互轨迹 — 包含消息、工具调用与中间步骤，适合诊断但不能替代终态验证。
Outcome — 环境终态 — 任务真正产生的业务结果，是 agent 成功判定的核心证据。
Distribution Drift — 分布漂移 — 生产输入或结果分布偏离基线，需要时间序列检测和样本下钻。
Sampled Human Review — 采样人审 — 按风险分层抽取真实会话，用于发现盲区并校准自动评分。
Time to First Token (TTFT) — 首 token 延迟 — 衡量用户首次感知响应速度，但不代表完整任务完成时间。
Time to Last Token (TTLT) — 末 token 延迟 — 反映完整生成耗时，agent 还需叠加工具和多轮耗时。
Cost per Task — 每任务成本 — 聚合完成一次业务任务的所有模型调用、重试与工具开销。
📚 目录