Capstone 项目评分标准 (Rubric)
用途：①学习者自评（对照 decision-workbook.md 自己的答案）；②互评/评审者打分。五个维度 × 四级水平。每个维度的水平描述是可观察的行为，不是形容词——评审者应能指着你的文档说「这一条你有/没有」。 用法：先逐维度自评打分（0–4），再写一行「最弱维度的改进动作」。合格线：总分 ≥ 12/20 且无任何维度为 0；优良线：≥ 16/20 且安全与评估均 ≥ 3（这两维 0 分的架构在其他维度再亮眼也不能上线——对照 C3/C6 约束）。
维度与权重
🎯 学习重点：安全、评估和可靠性合计 60%，仅画漂亮组件图无法通过综合验收。
| 维度 | 权重 | 一句话标准 |
|---|
| A 架构合理性 (Architecture) | 25% | 三条路径分层正确、组件职责清晰、复杂度与收益匹配 |
| B 安全 (Security) | 20% | 权限在应用层强制、注入有分层缓解、高危动作有审批门 |
| C 评估 (Evaluation) | 20% | 两层离线+线上指标、golden dataset、发布门与回归 |
| D 成本 (Cost) | 15% | 分层路由+缓存纪律、成本模型算得清、有监控 |
| E 可靠性 (Reliability) | 20% | 错误分类、预算/熔断/降级链、升级路径完整 |
A 架构合理性 (Architecture Soundness)
🎯 学习重点：高分答案以最简单可行路径覆盖多数流量，并把复杂 agent 限定在必要场景。
| 水平 | 描述 |
|---|
| 0 不合格 | 一个开放式 agent 包打全部流量；或全硬编码 workflow 覆盖不了开放式个案；图中组件职责互相重叠说不清 |
| 1 勉强 | 有分层意识但边界模糊：路由规则与升级条件写不出来；L2 的 gate 是「让模型自己判断」 |
| 2 合格 | 三层分诊成立（L1 单次+RAG / L2 固定 workflow+gate / L3 受控 agent），每层有明确的流量预估、停止条件与工具面；能画出数据面图 |
| 3 良好 | 合格基础上：控制面图完整（配置/策略/评估/发布版本化）；MCP vs 直接 API 有明确判断规则而非全押一边；每个「谁决定什么」都能答（模型/代码/人） |
| 4 优秀 | 良好基础上：决策全部有 tradeoff 记录（放弃了什么、什么条件下重新考虑）；路径占比是受监控指标并有漂移应对；架构能解释 R1–R10 每一条如何达成 |
加分证据：ADR 式决策记录；对「要不要更简单」有自我反驳（BEA「只在能证明改善结果时才增加复杂度」）。
B 安全 (Security)
🎯 学习重点：检查应用层授权、最坏损失、PII 流向和注入成功后的确定性兜底。
| 水平 | 描述 |
|---|
| 0 不合格 | 安全=system prompt 禁令；模型凭证能执行不可逆动作；无审计（上线否决项） |
| 1 勉强 | 有工具鉴权但无分级；租户隔离只靠 prompt；审计只有应用日志 |
| 2 合格 | 能力分级落地（读/写/执行三级，执行类模型无工具）；租户隔离在数据层（metadata pre-filter 或行级安全）；工具错误不当异常；基本审计事件 |
| 3 良好 | 合格基础上：间接注入有专门分析（工单/检索内容是数据不是指令）+ 摄取期清洗；审批门带结构化卡片与策略依据留痕；红队注入集存在 |
| 4 优秀 | 良好基础上：纵深防御逐层可验证（能走查「注入成功后最坏损失是什么」）；PII 流向图完整（C1）；安全指标（越权拦截、注入拦截）100%/≥99% 且进发布门 |
关键区分点：考生说「我在 prompt 里写了不许……」→ 安全维度直接看 B0/B1；说「模型没有这个工具，执行在代码里」→ B2 起。
C 评估 (Evaluation)
🎯 学习重点：金标来源、分层指标、发布门、灰度与线上回流都必须可执行。
| 水平 | 描述 |
|---|
| 0 不合格 | 无评估或只有「人肉看几条」；上线无门槛（上线否决项，对照 C6） |
| 1 勉强 | 只有端到端人工抽检；无金标；改动凭感觉 |
| 2 合格 | golden dataset（含负例）≥100 条且来源明确；两层评估（检索层+端到端）指标能对上模块 12 口径；关键阈值已定义 |
| 3 良好 | 合格基础上：线上指标（deflection/升级率/成本/延迟）与离线联动；发布门+灰度+自动回滚流程成文；坐席回流进评估集 |
| 4 优秀 | 良好基础上：LLM-as-judge 有人工校准机制；评估含权限正确性与注入拦截（安全×评估交叉）；有数据飞轮的量化和节奏（每周多少条入集） |
关键区分点：能不能答「检索坏了和生成坏了你怎么区分定位」——两层评估的试金石。
D 成本 (Cost)
🎯 学习重点：必须现场算出路径级 token 成本，并写明缓存命中与流量占比假设。
| 水平 | 描述 |
|---|
| 0 不合格 | 没有成本概念；或全部请求走最贵模型「求稳」 |
| 1 勉强 | 知道单价但算不出每会话成本；缓存断点没设计（动态内容毁前缀） |
| 2 合格 | 分层路由成立且升降档有 evals 依据；成本模型能算（路径×token×单价，含缓存命中率假设）；每会话成本 ≤ R7 预算 |
| 3 良好 | 合格基础上：缓存纪律具体（前缀稳定性+断点位置+TTL 选择）；批处理场景识别正确（夜间/离线，不误用于实时）；usage 对账与成本告警 |
| 4 优秀 | 良好基础上：成本-质量联动分析（哪个档位降一档省多少、掉多少分）；降级模式的成本画像；预算（$60k/季）分解到路径并留缓冲 |
关键区分点：让考生当场算一遍 L1 会话成本（token×单价）——算不出来说明模型只在纸面上。
E 可靠性 (Reliability)
🎯 学习重点：用错误预算、重试预算、熔断、降级和演练证明 99.5% 目标可达。
| 水平 | 描述 |
|---|
| 0 不合格 | 错误统一 retry(3)；故障=白屏；没有升级概念 |
| 1 勉强 | 有重试但无分类（4xx 也重试）与预算；熔断/降级没有；升级靠用户自己反复问 |
| 2 合格 | 错误分类驱动（429/5xx/超时 vs 4xx）；超时与重试预算成文；熔断+至少两级降级；升级触发规则明确 |
| 3 良好 | 合格基础上：降级链完整到人工且每一级触发条件是代码；「无证据不回答」「高危冻结非绕过」两条不变式成立；降级率是监控指标 |
| 4 优秀 | 良好基础上：故障 playbook 覆盖 ≥6 类故障（含 MCP/审批门/检索）+ 演练计划；可用性算术能对上 99.5%（错误预算视角）；工具侧独立熔断不拖垮全局 |
关键区分点：问「Claude API 挂 10 分钟，用户看到什么？坐席看到什么？」——E2 以上应秒答。
打分表（复制使用）
🎯 学习重点：评分要引用具体设计证据，不能只给主观印象分。
| 维度 | 自评 0-4 | 评审 0-4 | 证据（指向你的文档章节） |
|---|---|---|---|
| A 架构合理性 | | | |
| B 安全 | | | |
| C 评估 | | | |
| D 成本 | | | |
| E 可靠性 | | | |
| 加权总分（/20，未加权求和亦可） | | | |
最弱维度：
改进动作（一条）：
评分与验收测试的对应
🎯 学习重点：每个 rubric 条目都应映射到自动测试、演练或人工走查证据。
| 验收测试（README §4） | 主要维度 |
|---|
| 两张图（数据面/控制面） | A |
| 15 决策点有选择+理由+放弃记录 | A（兼 B/C/D/E） |
| 为什么安全/便宜/可靠 | B / D / E |
| 评估体系四问 | C |
| 自评 ≥ 合格线并指出最弱维 | 全部（元能力） |
常见失分模式（评审者速查）
🎯 学习重点：优先识别无量化、无故障路径、prompt 代替授权和成本算不清四类硬伤。
- 「prompt 里写了」句式：安全维度 B0/B1 信号（bad-vs-better.md §2）。
- 只有一张图：控制面缺失——「怎么发布/怎么回滚/策略谁改」答不上（A 封顶 2）。
- 评估=测试集：无阈值、无发布门、无回流——C 封顶 2。
- 缓存当口号：说「我们用缓存」但断点位置/前缀稳定性答不出——D 封顶 1。
- 降级链缺人工端：链停在「返回错误」——E 封顶 1。
- 全上 agent 显得先进：BEA 反模式，A 直接扣（bad-vs-better.md §5）。
📚 目录