track-production 模块 12 完成汇报（独立文件，供协调者合并入 track-production.md）

模块 12 — ✅ 完成（12-evaluation-observability 评估与可观测性）

• 产出文件：
• 12-evaluation-observability/README.md（本 run）：507 行主课。学习目标 → 无评估的反模式（reactive loop）→ 成功标准四条（Specific/Measurable/Achievable/Relevant）→ eval 解剖（四件套 + task/trial/grader/transcript/outcome/harness/suite 官方定义，transcript vs outcome 辨析）→ 2 张 Mermaid 图（① 评估流水线全景：金标构建→harness 跑 trial→三类 grader→分层指标→CI 门禁→线上监控双回环；② 指标分层：系统层延迟成本/检索层/agent 行为层/答案质量层）→ 三类评分器对比表与 LLM judge 四条官方技巧 + 按维度隔离 + 校准 → offline vs online / capability vs regression（毕业机制）/ pass@k vs pass^k（0.75³≈42%）→ 金标集 0→1 八步路线图 + 防过拟合五机制（分布对齐/held-out/换血/双向平衡/抗绕过）+ CORE-Bench 42%→95% 评分器教训 → 指标体系六节（task success 的 state_check / tool correctness 三检查面 / answer correctness / groundedness 三层工程化(Citations+官方减幻觉技术+指标定义) / 检索四件套呼应 M7 / weighted-binary-hybrid 门禁组合）→ 延迟成本监控（TTFT/baseline latency 官方定义、每任务成本、Usage & Cost API+合作伙伴）→ 线上监控（六方法表压缩、drift、采样人审、逃逸指标标注为业界通用非官方术语、告警按层路由）→ bad vs better 架构对比（坏：一个平均分；好：分层指标+回归集+双闭环，含六维对照表）→ 10 条 tradeoffs → 13 条 common mistakes → 英文术语段 → 认证相关性（CCAR-F 定位、官方域权重 PENDING 不引用第三方、7 类高频考法预判）
• 12-evaluation-observability/examples/（本 run，3 个全部无 key、纯标准库、实测通过）：
• 01_golden_dataset_scorer.py —— 金标集评分器：3 题（2 regression + 1 capability）× 3 trial 固定 fixture；grader = state_check（task_success）+ tool_calls（required/参数约束 amount<=100/顺序规则/forbidden，带 partial credit）+ transcript 约束（轮数/token 预算）；输出逐 trial 明细、per-task 成功率、pass@k 与 pass^k 并报、capability/regression 分层汇总、CI 回归门禁（fail→exit 1）。实跑：exit=1（门禁 FAIL 演示，预期行为）；按 lab A 指引修绿 3 个坏 trial 后实测门禁 PASS、exit=0
• 02_retrieval_metrics.py —— 检索指标计算器：中文 2-gram+IDF 玩具词法检索 vs 无信号基线，金标带 0–3 分级相关度；逐查询与宏平均输出 recall@k/precision@k/RR/nDCG（DCG/IDCG 对数折损）；k=3 vs k=8 对比演示「recall 单调不降可作弊、precision 被稀释 0.53→0.23」。实跑：exit=0
• 03_groundedness_simulator.py —— 接地性检查模拟器：主张级支撑判定（内容词覆盖近似）+ 幻觉候选 + ABSTAIN 单独归类；三回答 A=100%/B=50%(2 幻觉)/C=100% 但弃答率 50%，汇总表 groundedness 与弃答率分列（防「拒答刷分」）。实跑：exit=0
• flashcards/flashcards-12.csv（本 run）：30 张，5 列，csv 模块解析校验通过（30×5 无坏行）
• 12-evaluation-observability/questions/exam-style.md（本 run）：18 题 = 单选 12 + 多选 4 + 判断 2 + 场景决策题 S1；S1 为评估体系设计场景（客服 agent 首.build 评估体系：Scenario/Constraints/Options(4)/Best choice/Why/Why others weaker/Tradeoffs/What would change the answer 完整格式）；答案+逐项解析（含「考什么」）在文末独立小节
• 12-evaluation-observability/questions/architect-questions.md（本 run）：12 问（监控 vs 评估信息类型 / 4 周建评估体系优先级 / 评产出不评路径 / judge 上线条件 / pass 口径给谁看 / 分层归因路由 / 饱和与生命周期 / 每任务成本口径 / drift 排障路径 / 逃逸指标边界 / 六方法时机 / harness 工程要求），每问附来源
• 12-evaluation-observability/labs/lab.md（本 run）：Lab A–C ✅ 无 key（复用 3 个示例，每步附预期观察与思考题；A 的「修绿→门禁 PASS」路径已实测；B 的 nDCG 手算 0.817 已核验）；Lab D–E 🔑（真实 LLM-as-judge：官方 thinking+result 标签 grader 模板+Unknown 出口+10 条人工校准最小版；Citations 主张级溯源+计费行为验证）；完成检查表+记录模板
• glossary/glossary-12-evals.md（本 run，新建独立文件）：列头说明 + 「## 模块 12 — 评估与可观测性」小节 30 条术语（英文术语|中文翻译|通俗解释|架构师相关性|常见混淆）
• sources/sources-12-evals.csv（本 run，新建独立文件）：E01–E09 共 9 条，列与 sources.csv 完全一致（9 列 csv 校验通过）
• coordination/track-production-12.md：本文件
• 来源核验：本 run 于 2026-08-30 用 web_fetch 实际访问 E01–E09 全部 9 个 URL，全部 HTTP 200 且内容与 README/labs/questions 论断一致（VERIFIED）。关键事实锚点：成功标准四条与三类评分排序、LLM grading 技巧（develop-tests）；task/trial/transcript/outcome 定义与机票例子、tool_calls 参数断言 amount<=100、pass@k/pass^k 与 0.75³、CORE-Bench 42→95、六方法表与 "detect distribution drift" 原句、SWE-bench 30→80 饱和、git-history 环境作弊、评产出不评路径（demystifying-evals）；eval 四件套与成本结构、grader prompt 双标签模板（building-evals cookbook）；减幻觉三招+高级四招（reduce-hallucinations）；TTFT/baseline latency 定义与次序警告（reduce-latency）；Usage & Cost API 用途/凭据要求/合作伙伴清单（usage-cost-api）；RAG cookbook 两层评估与基线数字、Citations 逐主张溯源（复引页均本轮独立重抓）。任务提示的 "evaluations/developing evals" 官方页现 URL 为 test-and-evaluate/develop-tests（/docs/en/evaluations/* 与 /docs/en/test-and-evaluate/overview 均 404；以 platform.claude.com/llms.txt 全量清单为准确认 test-and-evaluate 节共 7 页，另 6 页为 strengthen-guardrails 子页，其中 2 页已收录）。BEA 页顶部有「2024-12 后工具环境已变→Managed Agents」提示条，已在 E09 notes 记录，正文只引用其仍成立的原则性论断。
• 示例实跑结果：见上「产出文件」内嵌记录——01 exit=1（CI 门禁 FAIL 为设计行为，修绿路径实测 PASS/exit 0）；02 exit=0（lexical k=3 宏平均 recall 0.93/precision 0.53/nDCG 0.963 vs baseline 0.20/0.07/0.100；k=8 recall 1.00/precision 0.23 作弊演示）；03 exit=0（groundedness 100%/50%/100% + 弃答率 0/0/50%）。三个脚本均纯标准库、无网络、无密钥；py_compile 通过。
• 平台掩码坑实测记录（供后续 run 参考）：本 run 确认写入管道会把赋值目标以 _pass 结尾的赋值语句的值替换为 ***（n_pass = …、t_pass = … 必中；pass_at = True 不受影响），另 sum(1 …/len([… 在特定上下文偶发命中；规避：变量改用 n_ok/per_trial.count(True) 等。本模块 9 个交付文件已全量 grep 确认无 *** 残留。
• 待协调者验收：

1. exam-style S1 与 architect-questions 的「逃逸指标」（用户改写率/人工接管率）已显式标注为业界通用代理指标、非 Anthropic 官方术语——若 Wave 3 术语统一时希望删改，位置集中在 README §8.4、glossary Escalation Rate 行、flashcards 第 28 张、architect Q10。
2. flashcards-12 的 certification_domain 沿用非官方学习分桶（Evaluation & Testing / Metrics & Monitoring / Agent Quality / Production Operations），与 M9 遗留问题 3 同源：官方 domain 权重在 00-certification-current-status 仍 PENDING，Wave 3 有官方名时统一映射。
3. glossary/sources 按任务要求为独立文件（glossary-12-evals.md / sources-12-evals.csv，仿 M7/M8 先例），未直接追加 glossary-production.md / sources-production.csv——需协调者在 Wave 3 合并（glossary 小节标题已按合并格式写好；sources 直接拼接即可，id 无冲突：E01–E09 vs P01–P24）。
4. Lab D/E（需 key）按官方文档描述设计，本 run 无 key 未实际调 API，验收者可抽查 D 的 grader prompt 双标签结构与 E 的 citations 计费观察点。
5. 示例 02 的玩具分词为教学近似（中文全偏移 2-gram + IDF），README/lab 已声明局限；如需更强的 BM25 展示可后续接入真实引擎，非阻塞。

• 遗留问题：无。本 run 未触碰其他模块文件，未运行 git；coordination/track-production.md 的模块 12 状态行（## 模块 12 — ⬜ 未开始）留给协调者更新（本文件即汇报载体，避免两个 run 同时写 track-production.md 冲突）。