📚 首页 / 14-certification-prep / mock-exam-2-answers.md

模拟卷二 · 答案册(Mock Exam 2 Answers)

与 mock-exam-2.md 配套。每题:答案 / 为什么对 / 为什么错 / 考什么原则;场景题全套解析。 原创教学题,非官方真题。原则出处以模块编号标注(M01–M13)。

Part A · 单选题答案

🎯 学习重点:把每个错误答案映射回指标误读、信任边界或生产反模式。

Q1. B —— pass@k(k 次至少一成)适合研发爬坡,产品决策看 pass^k(k 次全成)——0.85³≈61%,与「三次内至少一次对」的产品要求是两个不同事件(M12)。 错项:A 混用两个口径;C pass@k 有其用途;D 与评分方式无关。 考什么:pass@k vs pass^k 的产品含义(高频辨析)。

Q2. B —— 「先审 eval 再审模型」:前沿模型 0%/暴跌多半是题目、grader、环境的问题(M12 Common Mistake #3)。 错项:A/C 是未诊断先动手;D 粗暴且无据。 考什么:评估方法论的排查顺序。

Q3. B —— judge 三件最低配置:rubric、Unknown 出口、人工对表校准(M12)。 错项:A/D 缺质量控制;C 强模型也需校准。 考什么:LLM-as-judge 的可靠性前提。

Q4. B —— recall 单看可刷分(加大 K 即可);K×块长挤占预算 + context rot + 噪音干扰——recall 必须与 precision@k/nDCG 成对看(M07/M12)。 考什么:检索指标成对原则。

Q5. B —— transcript 不是 outcome;唯一可靠判据是环境终态(工单系统状态变更)(M12)。 错项:A 模型说≠事实;C 用户沉默可能是放弃了;D 会话长度与成功无关。 考什么:task success 的判据层。

Q6. B —— 幻觉率必须与弃答率成对上报:全拒答可刷出幻觉率 0;弃答率 30% 说明大量问题被逃避,任务成功率才是终点(M12)。 错项:A 单指标幻觉;C 弃答为零不现实也无必要;D 有数据可判。 考什么:指标联动解读。

Q7. B —— eval saturation:旧题毕业进回归套件、补新难题、held-out 汇报(M12/M13 数据飞轮)。 考什么:评估集是活资产。

Q8. B —— 严格顺序校验惩罚合法路径(CORE-Bench 42%→95% 教训);评产出不评路径,业务规则顺序(先扣库存再下单)才硬校验(M12)。 考什么:agent 评估的路径宽容度。

Q9. B —— 一个 run_sql 全库工具使其余 23 个工具的隔离全部失效——最小权限视角下这是第一风险(blast radius 最大)(M11)。 错项:A 是次要问题(准确率);C/D 回避要点。 考什么:least privilege / blast radius 的识别。

Q10. B —— 第三方内容走 tool_result 通道 + JSON 编码 + 来源标注;网页取渲染文本防隐藏标签载荷(M11 间接注入)。 错项:A 原始 HTML 含隐藏指令且拼进 system prompt 是最差位置;C user 消息同样危险;D 模型无法自证可信。 考什么:数据与指令分层。

Q11. B —— 「审计过的连接器 ≠ 审计过的数据」:连接器合规不保证取回内容干净(间接注入面)(M11)。 考什么:信任边界辨析。

Q12. B —— DNS rebinding 让恶意网页以你的源访问 localhost 服务;校验 Origin 是官方建议防线(M06)。 错项:A 只监听 127.0.0.1 不能防 rebinding(请求看起来就来自本地);C/D 是纵深补充非针对此攻击。 考什么:本地 MCP server 安全。

Q13. B —— 数据驻留/合规决定接入路径(直连 vs Bedrock/Vertex 区域 vs ZDR 条款)——架构第一层选型输入(M11/M10)。 错项:A/D 无视约束;C prompt 删 PII 不解决传输驻留问题。 考什么:合规驱动架构。

Q14. B —— 选型第一层:家族/档位三轴(价格/延迟/能力)× 任务要求;限流桶常比单价先卡住(M02)。 考什么:模型选型方法。

Q15. B —— cascade 的核心指标是升级率(多少流量升级到强模型)——直接决定平均成本与质量(M02/M10)。 考什么:级联架构的监控点。

Q16. B —— streaming 降 TTFT 后的感知等待;总生成时长不变(M02)。 考什么:TTFT vs 总时长的区分。

Q17. B —— 断点放稳定前缀末尾、变化内容之前,一处覆盖最大稳定区(M03/M10)。 错项:A/C 断点位置错误导致 miss 或浪费;D 未设断点则没有缓存声明。 考什么:cache_control 断点原则。

Q18. B —— 529 = 平台过载:退避 + 爬坡 + 熔断;硬刚加剧过载(M10)。 考什么:过载响应(系统性信号 vs 单点错误)。

Q19. B —— 每层独立 30s 叠加成分钟级挂起是反模式;预算应从顶层向下分配(M10)。 考什么:timeout budget。

Q20. B —— 结构化文档按结构切 + 标题链元数据;固定滑窗把表格切两半、条款失主语(M07)。 考什么:chunking 按文档结构。

Q21. B —— contextual retrieval 给块补回主语/上下文,解决 context loss("增长了 3%" 无公司名即废数据)(M07)。 考什么:官方技术与其针对的缺陷。

Q22. C —— 官方数据:上下文化 BM25 降检索失败率 49%,叠加 reranking 累计 67%(M07)。 考什么:官方量化收益的记忆与理解(数字以官方 cookbook 为准)。

Q23. B —— 第一问是「是否需要检索」:规模/变化频率是否超出全量塞入+caching 的适用域(M07 反过度工程)。 考什么:架构判断顺序(先问要不要,再问怎么做)。

Q24. B —— ACI:工具文档按 HCI 标准投入;官方优化工具时间超过优化 prompt(绝对路径零失误案例)(M04/M08)。 考什么:ACI 投入原则。

Q25. B —— planner-executor 判据:计划是否先作为静态契约产出(M08)。 考什么:编排模式的精细区分。

Q26. B —— routing = 分离关注点 + 成本分层(M08)。 考什么:routing 的收益本质。

Q27. B —— ADR 规范:选择 + 理由 + 放弃项 + tradeoff;「无 tradeoff 记录的决策视为未完成」(M13)。 考什么:决策文档化(CCAR-P Stakeholder/Lifecycle 域的核心能力)。

Q28. B —— 稳定哈希:同用户稳定落同版本(体验一致)+ 新旧分标签可对比(M10)。 考什么:灰度发布细节。

Q29. B —— 可选参数上限(24)与文法编译成本;schema 最小化(M05)。 考什么:schema 设计约束。

Q30. B —— PII 回放/日志:独立权限 + 脱敏/加密 + 期限;通用日志管道记全量 prompt 是合规事故(M10/M11)。 考什么:评估合规底线。


Part B · 多选题答案

🎯 学习重点:逐项核对必要性和充分性,尤其关注安全与评估护栏。

Q31. ABD —— RAG 文档、tool result、网页隐藏标签都是间接注入入口;C 是正常输入(直接注入是另一形态,但「正常问题」本身不是注入)(M11)。 考什么:间接注入面的识别。

Q32. AC —— 纵深防御:每层都有失效模式(A),层覆盖不同失效面(C)。 B 是单层幻觉;D 不计成本是过度设计不是纵深。 考什么:defense in depth 的正确理解(不是层数竞赛)。

Q33. ABC —— 最小合格组:recall@k + precision/nDCG + groundedness——检索层两个 + 生成层一个,缺层即盲(M07/M12)。 D 用户点赞是滞后且稀疏的信号,不能替代分层评估。 考什么:RAG 评估分层。

Q34. AC —— 功能未达标先砍延迟(M12 官方次序警告:先功能后延迟)、未评估先买 reranker——都是过早优化。 B/D 是正确的基线与门禁建设。 考什么:优化次序(先功能后延迟)。

Q35. AB —— 只读→resources、写操作→tools(控制方与攻击面原则)(M06)。 C 把只读数据做成 tool 扩大行动面;D resources 不可执行写。 考什么:原语分工(官方 CCAR-F 点名 tool and resource design)。

Q36. ABC —— 干系人汇报三要素:约束与量化指标、tradeoff 与放弃理由、风险与缓解(M13/CCAR-P 域 5/6)。 D 全量技术细节淹没听众——沟通要看对象。 考什么:Stakeholder Communication(CCAR-P 14% 权重域)。


Part C · 场景决策题 · 全套解析

🎯 学习重点:比较可用方案为何仍不是最佳,并写出何种约束变化会翻转选择。

Q37. 合规金融助手

Q38. 电商大促容量规划

Q39. 多智能体改造之争

Q40. 评估驱动的模型升级


计分与定位

🎯 学习重点:卷二偏进阶综合能力,应与卷一错题域合并分析,不看单次总分。
📚 目录