| Evaluation (Eval) | 评估 | 给 AI 系统的测试：喂输入，用评分逻辑量输出 | 把「感觉变好」变成可回归、可门禁的数字；CI 的第一道防线 | 与「线上监控」混淆——eval 有 ground truth 且可复现，监控没有 |
| Golden Dataset / Golden Answer | 金标数据集 / 金标答案 | 人工确认的正确答案库；eval 的比对基准 | 题目分布 ≈ 生产分布才有意义；held-out 子集用于汇报 | 与「训练集」混淆——金标只用来打分，不参与训练/调参汇报 |
| Task / Trial | 任务 / 试验 | Task=一道题（输入+成功标准）；Trial=这道题的一次尝试 | 模型非确定 → 每 task 多 trial，用 pass@k / pass^k 汇总 | 与「一次 API 调用」混淆——一个 task 可能几十次调用 |
| Grader / Assertion | 评分器 / 断言 | 给表现某方面打分的逻辑；一个 grader 可含多条断言 | 分层评分的载体：state/tool/rubric 各配各的 | 与「指标」混淆——grader 是判分动作，指标是聚合结果 |
| Transcript (Trace / Trajectory) | 转录 / 轨迹 | 一次 trial 的完整记录：输出、工具调用、推理、中间结果 | 排障与「读 transcript」校准的原始材料；API 场景=完整 messages 数组 | 与 Outcome 混淆——说得好不等于做成了 |
| Outcome | 结果（环境终态） | trial 结束时环境的最终状态（数据库/文件/工单） | Task Success 的唯一可靠判据（state_check） | 与 Transcript 混淆——高频考点 |
| Evaluation Harness | 评估脚手架 | 端到端跑评估的基础设施：下发、并发、记录、评分、汇总 | CI 门禁的载体；要求环境隔离、与生产同构、可回放 | 与 Agent Harness 混淆——前者测后者 |
| Agent Harness (Scaffold) | 智能体脚手架 | 让模型作为 agent 行动的执行系统 | 评估对象 = harness + 模型的组合体 | 与「评估 harness」混淆 |
| Code-based Grading | 代码评分 | exact/string match、单元测试、state_check、tool_calls 校验 | 官方第一优先：最快最可靠最可扩展；对合法变体脆 | 与「低级/简陋」划等号——它是首选而非妥协 |
| Model-based Grading (LLM-as-Judge) | 模型评审 | 用 LLM 按 rubric 给输出打分（可先推理后结论） | 开放式任务的主力；必须 rubric 化 + Unknown 出口 + 人工校准 | 与「自动正确」混淆——judge 自己会幻觉，未校准不可信 |
| Human Grading / Spot-check | 人工评分 / 抽检 | SME 或众包人工判分；抽样审读 | 金标准；主要用于校准 judge 与建金标，不适合全量 | 与「必须全量人审」混淆——官方建议少量点睛 |
| Rubric | 评分细则 | 给 judge 的可执行判分标准（「第一句必须提到 X 否则 incorrect」） | rubric 质量直接决定 judge 质量；改 rubric 要重校准 | 与「prompt 随便写写」混淆——rubric 是合同不是寒暄 |
| Reference Solution | 参考解 | 一份已知能通过所有 grader 的输出 | 证明题目可解、grader 配置正确；0% 通过率先查它 | 与 Golden Answer 混淆——参考解是给「任务」验身的，金标答案是给「输出」判分的 |
| Capability Evals | 能力评估 | 测「能做好什么」，故意选做不好的题，低通过率 | 爬坡目标；给团队一座要爬的山 | 与 Regression Evals 混淆——期望通过率相反 |
| Regression Evals / Regression Testing | 回归评估 / 回归测试 | 测「过去会的现在还会吗」，期望 ≈100% | CI 门禁；分数下降即「有东西坏了」 | 与「重跑一次看看」混淆——它是带锁定题集与阈值的门禁 |
| Eval Saturation | 评估饱和 | 套件全通过后分数不再提供改进信号 | 高分≠无事可做：旧题毕业进回归套件、补新难题 | 与「模型到顶了」混淆——常是套件到顶了 |
| pass@k / pass^k | k 次至少一成 / k 次全成 | pass@k=k 次里至少一次成功（随 k 升）；pass^k=全部成功（随 k 降） | 产品决策看 pass^k（75%³≈42%）；研发爬坡看 pass@k | 两者混用——k 大时讲相反的故事 |
| Task Success Rate | 任务成功率 | 以 outcome 状态校验的任务完成比例 | 用户视角的终极质量指标；transcript 收尾不算数 | 与「回答完整率」混淆 |
| Tool Correctness | 工具正确性 | 该调的调了、参数合规、不该调的没调、规则顺序正确 | agent 安全与合规的代码级审计面（amount ≤100 类断言） | 与「逐步路径校验」混淆——官方：评产出不评路径 |
| Groundedness | 接地性 | 回答的每个主张被检索证据支撑的比例 | RAG 质量核心；Citations 让逐主张溯源程序化 | 与 accuracy 混淆——有据≠正确，正确≠有据 |
| Hallucination Rate / Abstain Rate | 幻觉率 / 弃答率 | 无支撑未弃答主张占比 / 「我不知道」占比 | 必须成对上报，否则全拒答可刷出幻觉率 0 | 只报幻觉率不报弃答率——新的作弊方向 |
| Recall@k / Precision@k | 查全率 / 查准率@k | 前 k 结果覆盖金标比例 / 前 k 中相关比例 | RAG 默认 recall 优先；precision 管上下文预算 | recall 单看——加大 k 就能作弊 |
| MRR (Mean Reciprocal Rank) | 平均倒数排名 | 第一个相关结果排名倒数的平均 | 单正确答案问答的排序指标 | 与 nDCG 混淆——MRR 只看第一个命中 |
| nDCG (normalized Discounted Cumulative Gain) | 归一化折损累计增益 | 分级相关度 + 排名位置对数折损，再按理想排序归一 | 完美块该排在沾边块前面的排序质量度量 | 与 recall 混淆——nDCG 关心「排在第几」，不只「进没进」 |
| TTFT (Time to First Token) | 首 token 延迟 | 发送 prompt 到吐出第一个 token 的时间 | streaming 场景用户感知响应速度的决定项 | 与总时长混淆——TTFT 好总时长也可能差 |
| Baseline Latency | 基线延迟 | 模型处理 prompt 并生成响应的时间（不含量纲视角） | 延迟监控的基础口径，与 TTFT 分开报 | 与 TTFT 混淆 |
| Cost per Task | 每任务成本 | 完成一个任务的全部调用成本（多轮×token×重试放大） | 预算与门禁的正确粒度；配 token 预算 grader | 与每请求成本混淆 |
| Distribution Drift | 分布漂移 | 输入分布/模型行为/语料随时间偏离基线 | 生产监控的核心告警对象；回归套件是离线探针 | 与「随机波动」混淆——漂移是持续偏移 |
| Escalation Rate（业界通称） | 人工接管/升级率 | 会话转人工或用户放弃 agent 的比例 | 逃逸指标族（改写率/接管率/放弃率）：用户视角的任务失败代理 | 与「质量分」混淆——它不说哪层坏，只说变差了 |
| Inter-annotator Agreement | 标注者间一致性 | 多个人工标注者互相一致的程度 | 人审与金标自身的质量度量；judge 校准的分母 | 与「标注越多越好」混淆——不一致的标注是噪声 |