配套 mock-04.md。每题给:答案 / 为什么对 / 为什么错(逐个干扰项)/ 考什么架构原则;场景题为全套格式。原创教学题,非官方真题。技术原则出处以课程模块标注(M01–M13)。
| 题号 | Q1 | Q2 | Q3 | Q4 | Q5 | Q6 | Q7 | Q8 | Q9 | Q10 |
|---|---|---|---|---|---|---|---|---|---|---|
| 答案 | C | A | D | B | A | C | MR | B | C | D |
| 题号 | Q11 | Q12 | Q13 | Q14 | Q15 | Q16 | Q17 | Q18 | Q19 | Q20 |
| 答案 | B | A | C | D | MR | B | B | D | A | C |
| 题号 | Q21 | Q22 | Q23 | Q24 | Q25 | Q26 | Q27 | Q28 | Q29 | Q30 |
| 答案 | B | D | A | C | MR | MR | B | B | A | D |
| 题号 | Q31 | Q32 | Q33 | Q34 | Q35 | Q36 | Q37 | Q38 | Q39 | Q40 |
| 答案 | C | C | B | MR | MR | B | D | D | B | A |
(MR = 多选题,答案见下一行)
多选:Q7 A/B · Q15 A/C · Q25 B/D · Q26 A/B · Q34 A/B/C · Q35 A/B
自评(课程推断):≥28/40(70%)达到收口线;按错题域回链模块补漏。
Q1. C —— 工具回路完整顺序:请求 → 模型返回 tool_use 块 → 应用执行工具 → 应用回传 tool_result → 模型生成最终答案。模型从不亲自执行,应用是执行主体。 错项:A 模型不能自执行;B 模型看不到结果无法推理;D 事后补日志不是回路。 考什么:tool use 完整回路(M04;官方 CCAR-F 域 1/4 交叉考点)。
Q2. A —— auto:模型自行判断直答或调用工具。 错项:B/C 强制调用(用于必须走工具的抽取);D 禁用工具。tool_choice 语义按场景选。 考什么:tool_choice 语义(M04)。
Q3. D —— 功能重叠的工具制造选择歧义,选择准确率下降;要么合并、要么把适用范围写清楚。 错项:A 冗余有 token 与歧义双重成本;B 「更多选择」恰是降效来源;C 描述差异化能缓解但同名近义仍易混,不如收敛。 考什么:工具面治理(M04/M06)。
Q4. B —— 好的工具描述:做什么、何时用、何时不用、参数含义、约束——模型选工具全靠这些信号(ACI 投入)。 错项:A/C 信息不足;D 模型并非读心,无描述即盲选。 考什么:工具文档质量(M04/M06;官方经验:工具时间常超过 prompt 调优)。
Q5. A —— 写操作要幂等(如客户端幂等键):超时重试不会双倍执行——这是「可重试」的前提。 错项:B 碰运气不是设计;C 把一致性责任甩给下游;D 全禁重试把可恢复失败变成硬失败。 考什么:重试安全的工具设计(M03/M04)。
Q6. C —— 资金动作:模型输出只是输入不是授权——确定性代码做策略校验与授权后执行。 错项:A/B 模型自检不构成控制(它错的理由它自己也信);D 显然荒谬。 考什么:agent proposes, code disposes(M04/M11;全课程第一原则的应用)。
Q7. A、B —— 一工具一用途;错误以结构化可操作结果回传——工具设计清单核心两条。 错项:C 万能工具不可选择也不可审计;D 隐藏失败剥夺模型自我修正。 考什么:工具设计清单(M04)。
Q8. B
考什么:最小权限 + HITL 门 + 注入防御组合(M04/M11)。
Q9. C —— client 是 host 内与单个 server 的 1:1 连接器;host 持有全局编排,server 暴露能力。 错项:A server 在连接对端;B transport 是通道不是角色;D registry 不是 MCP 核心角色。 考什么:host/client/server 三角色(M06)。
Q10. D —— 只读参考数据(schema 文档、码表)→ resources:应用驱动加载,不给模型当动作调用。 错项:A 全做成 tool 增加误调用面;B prompts 是用户模板;C sampling 是另一种机制(server 请求模型补全),不匹配。 考什么:resources vs tools 分工(M06;官方 CCAR-F 点名 tool and resource design)。
Q11. B —— 服务器把业务错误作为 isError: true 的 tool result(含可操作说明:正确格式长什么样)回传——模型据此自我修正。 错项:A 静默代改掩盖了错误也失去了可审计性;C 崩溃重启丢会话;D 与机制无关。 考什么:structured error responses 的自修正回路(M04/M06)。
Q12. A —— 本地开发 server:stdio——进程通信、零网络暴露。 错项:B 公网 HTTP 暴露面最大;C WAN WebSocket 无必要;D 荒谬。 考什么:transport 选型(M06)。
Q13. C —— token passthrough 被禁的根因:绕过 audience 控制(下游不知道在为谁、为什么授权)并打断审计链。 错项:A/B 性能与过期不是禁令理由;D 与 transport 无关。 考什么:MCP 反模式的原因(不只是结论)(M06/M11)。
Q14. D —— 跨个人项目可用 → user scope(个人全局配置)。 错项:A project scope 限单仓;B 会话级不持久;C 便签不是配置。 考什么:MCP server 配置作用域(M06;官方 CCAR-F 点名 server configuration)。
Q15. A、C —— tools 由模型控制调用;prompts 是用户控制的模板(如 slash command)。 错项:B resources 是只读的,不改状态;C…注意 D:三原语不会自动全量进请求——加载策略由 host/应用与发现机制决定。 考什么:三原语控制方(M06,考试最爱)。
Q16. B
考什么:第三方 MCP 接入的风险治理(M06/M11)。
Q17. B —— streaming 改善感知延迟:首 token 提前、用户看到渐进输出;总生成时长基本不变。 错项:A 不让模型变快;C 不改质量;D 不改单价。 考什么:streaming 的真实收益(M03)。
Q18. D —— 400 = 请求本身非法(参数/schema 错误):重试无意义,修请求。 错项:A/B/C 都是无效重试——同样的请求永远同样失败。 考什么:4xx 中「客户端错误」的处置(M03/M10)。
Q19. A —— 401/403 = 凭证问题:检查/轮换凭证与请求头——带着坏凭证重试不可能成功。 错项:B 无效重试;C/D 与认证无关。 考什么:认证类错误的分诊(M03)。
Q20. C —— 带 retry-after 的 429:按指示等待再重试,配指数退避 + jitter 防惊群。 错项:A 并发抢占加剧拥塞;B 立即重试同样;D 过度放弃。 考什么:限流 429 的标准响应(M03/M10)。
Q21. B —— spend-limit 429:无 retry-after、重试不会自行清除——读 error code,处理根因(预算/配额调整)。 错项:A 无限等待烧时间;C 换模型不解决组织预算上限;D 关错误处理是掩耳盗铃。 考什么:两类 429 的区分(高频坑,M03/M10)。
Q22. D —— 529 = 平台侧过载:指数退避 + 降载(熔断)稍后再试——猛打只会更糟。 错项:A 400 才是请求问题;B 认证是 401;C 个人限流是 429。 考什么:529 的语义与响应(M03/M10)。
Q23. A —— 逐请求 token 计量读响应的 usage 字段(input/output/cache 分类)。 错项:B/C/D 均非计量来源。 考什么:token usage 字段(M03;成本可观测性的数据源)。
Q24. C —— 峰期限流的组合拳:缓存削重复、非交互任务错峰/批量、429 退避,持续触顶则带数据申请提额。 错项:A 自家服务器不解决 API 侧配额;B 放任体验崩;D 关重试放大失败。 考什么:限流治理(M03/M10)。
Q25. B、D —— 429(带 retry-after)与 529(过载)都是退避后可重试的暂态错误。 错项:A 400 请求非法重试必败;C 401 要修凭证不是重试。 考什么:错误可重试性分类(M03)。
Q26. A、B —— streaming 降感知延迟;prompt caching 减少稳定前缀的重复处理——两条正当手段。 错项:C temperature 与延迟无关;D 全量知识库每请求发送恰是延迟与成本的反面。 考什么:延迟优化手段鉴别(M03/M10)。
Q27. B
考什么:容量/限流/成本综合架构(M03/M10;CCDV-F Applications and Integration 综合)。
Q28. B —— golden dataset:代表真实流量、人工标注(或严格验证)、版本化、与调优集分离(防「拿考题当练习」)。 错项:A 随手编的不代表分布;C 无标注不可判分;D 只装必过的演示例是自欺。 考什么:golden dataset 属性(M12)。
Q29. A —— CI 回归门:prompt/工具/模型变更导致 golden 分数可测量下降时阻断合并/发布——把「感觉没坏」变成「证明没坏」。 错项:B/C 不是目的;D 仪表盘若无人读才需要治理,不是回归门的本义。 考什么:回归测试门禁(M12)。
Q30. D —— LLM-as-judge 最低配置:具体 rubric + Unknown/信息不足出口(防强行判)+ 定期与人工标注对表校准。 错项:A 便宜模型+一句话 prompt 不可信;B 盲信强模型无校准是常见事故;C 二值裁决丢细粒度且无处安放不确定。 考什么:LLM-as-judge 的可靠性工程(M12)。
Q31. C —— K=5→50:recall@k 上升但precision 崩塌——50 块噪音进上下文,context rot 淹没答案;检索指标要成对读。 错项:A recall 没坏,是单指标视角坏了;B 无关;C…注意 D 归因用户是逃避。 考什么:检索指标的联动解读(M07/M12)。
Q32. C —— 任务成功的可靠信号:环境终态(工单系统里状态真的变了)——不是模型说什么。 错项:A 模型的自我报告正是幻觉高发区;B 用户沉默可能是放弃;D 长度与成功无关。 考什么:state-based task success(M12)。
Q33. B —— 三个月 96% = eval saturation 预警:旧题毕业进回归套件、补更难新题、留 held-out 汇报集——分数恒高说明考不出差异。 错项:A 完美的假象;C 删集子自毁武器;D 降门槛方向反了。 考什么:评估集的生命周期(M12)。
Q34. A、B、C —— 诚实最小集:recall@k(查全)+ precision@k/nDCG(噪音/排序)+ groundedness(生成有据)——三层各有失败模式。 错项:D 点赞数是滞后且可操纵的代理指标,不能作为唯一质量度量。 考什么:RAG 评估指标组(M07/M12)。
Q35. A、B —— 生产可观测:带延迟/token/成本/工具结果的trace(PII 安全)+ 按错误类型分段的错误率。 错项:C 只有聚合 QPS 看不出失败结构;D 未脱敏全量永久存原始 prompt 是合规事故。 考什么:可观测性要件与合规边界(M10/M12)。
Q36. B
考什么:升级回归分诊 + 灰度(M12/M02;收口综合题)。
Q37. D —— 五步固定、仅 classify 用 LLM → 确定性 workflow 编排,LLM 是其中一步的调用——可预测、可测试、成本最低。 错项:A 每晚自主决定恰是反需求;B 五个 subagent 是 15× 量级的浪费;C 人肉不可扩展。 考什么:workflow vs agent 判据(M08;CCDV-F Agents and Workflows)。
Q38. D —— 「感觉做完了」不是停止条件——外部、可量化、代码持有的才是(迭代数/预算/墙钟)。 错项:A/B/C 都是合法条件。 考什么:stopping conditions 的设计原则(M08)。
Q39. B —— 高量短分类:快档便宜模型 + per-task eval 验证 + 抽样质量监控 + 低置信升级——三轴(成本/延迟/能力)匹配任务画像。 错项:A 旗舰模型预算爆且延迟高;C 双倍调用更贵;D 随机选模型不可测试。 考什么:模型选型按任务画像(M02/M10;CCDV-F Model Selection and Optimization)。
Q40. A —— alias 自动漂移事故的解法:pin 精确 snapshot,升级走评估门 + 分阶段发布。 错项:B alias 恰是事故源;C 关监控自欺;D 等别名漂回不可控。 考什么:模型版本管理(M02/M10;事故驱动考点)。
(Mock 04 答案册完) · 回做:mock-04.md · 索引与用法:README.md
📚 目录