| Observability | 可观测性 | 从系统外部输出(logs/metrics/traces)推断内部状态的能力——「不打开机器就能知道哪坏了」 | 生产 Claude 应用的三支柱具体化为 request-id 透传、usage 记账、OTel span 链路;没有它,故障只能靠猜 | 与「监控 (monitoring)」混淆——监控是预设问题的看板,可观测性支持未预设的探索式排查 |
| Auditability | 可审计性 | 能回答「过去某时某刻系统做了什么、依据什么配置与版本」 | 决策留痕 + 配置版本 + Usage Export 对账;合规行业(金融/医疗)的硬要求 | 与 Observability 混淆——一个管「现在怎么样」,一个管「当时凭什么」;保留策略与访问控制也不同 |
| Redaction | 脱敏 | 日志入库前把 PII/密钥替换为占位符 | 日志管道入口的集中式过滤器;「记了不该记的」是最常见合规事故 | 与「加密」混淆——脱敏是不可逆移除信息,加密可逆且密钥管理是新风险 |
| PII (Personally Identifiable Information) | 个人身份信息 | 能定位到具体自然人的信息(姓名/邮箱/证件号/病历) | 生产日志/缓存/训练回流的红线判断依据;prompt 里的 PII 决定日志与留存策略 | 与「敏感业务数据」混淆——商业机密不属 PII 但同样不能裸记 |
| Retry with Exponential Backoff | 指数退避重试 | 失败后等 base×2^n + 抖动再试,越等越久 | 官方 SDK 默认对瞬时错误重试 2 次;生产要在超时预算内显式化同一策略 | 与「无限重试」混淆——退避重试有次数与预算上限 |
| Jitter | 抖动 | 退避等待上加随机量 | 防止同批请求同步重试形成 thundering herd | 与「随机延迟」混淆——抖动是退避的修正项,不是独立延迟 |
| Thundering Herd | 惊群 | 大量客户端同时重试,压垮正在恢复的上游 | 529 过载期设计重试策略的核心反面教材;熔断器存在的理由 | 与「限流」混淆——惊群是故障模式,限流是治理手段 |
| Fallback | 降级 | 主路径失败时切换到更便宜/更慢但可用的替代路径(次级模型/无检索/模板) | 需要三件套:显式声明 degraded、指标单独计数、可恢复切回 | 与「重试」混淆——重试打同一目标,降级换目标 |
| Escalation | 人工升级 | 把决策权交还人类(低置信/不可逆操作/降级链打穿/合规复核) | 生产架构一等公民:队列 + 结构化上下文协议 + 处置回写 + 审计;升级率是核心监控指标 | 与「报错给用户」混淆——升级携带上下文交接给人工,不是甩锅 |
| Circuit Breaker | 熔断器 | closed→open→half-open 三态开关:连续失败即快速失败走降级,冷却后探测恢复 | 529/区域故障时保护上游与用户耐心;调参=阈值/冷却/探测流量 | 与「重试上限」混淆——重试上限管单请求次数,熔断管系统对系统级的熔断 |
| Timeout Budget | 超时预算 | 请求级总时限向下分配给每次尝试与等待 | 防「多层各 30s 叠成 90s」的放大事故;预算耗尽即降级 | 与「单层超时」混淆——预算是跨层传递的共享资源 |
| Rate Limit | 限流 | 单位时间请求数/token 数上限(RPM/ITPM/OTPM),token bucket 算法持续补充 | 429+retry-after 的等待依据;限流是「组织级」而非「用户级」 | 与 Spend Limit 混淆——限流管速率,spend cap 管月度总额;两者 429 形态不同 |
| Spend Limit | 支出上限 | 月度成本上限;tier 触顶 429 无 retry-after,自设限额触顶 400 | 必须区分两类错误形态:重试只对前者有效 | 与 Rate Limit 混淆(见上)——细节是 error_code 与 retry-after 的有无 |
| Token Bucket | 令牌桶 | 以恒速补充令牌、请求消耗令牌的限流算法;容量可攒 | 解释「限流可能在更短窗口被强制执行」与突发行为 | 与「固定窗口计数」混淆——令牌桶允许受控突发 |
| Prompt Caching | 提示缓存 | 相同前缀复用缓存:写 ×1.25(5m)/×2(1h)、读 ×0.1、命中免费续期 | 稳定前缀应用的省钱+提速+提吞吐三合一;缓存读取不计 ITPM | 与「响应缓存」混淆——提示缓存按前缀哈希复用 KV,语义完全不同 |
| Cache Breakpoint | 缓存断点 | cache_control 标记的位置;条目=从头到断点的哈希;回看窗口 20 块 | 断点放错(每轮变化的块)=永远全款写入永不命中;放「跨请求不变的末块」 | 与「缓存自动找稳定内容」的想象混淆——回看找的是先前写过的断点条目 |
| Message Batches API | 批处理 API | 异步提交大批 Messages 请求,全量半价,多数 1 小时内完成 | 离线批量(评估/审核/生成)的成本杠杆;不支持 stream/fast mode/Threads/max_tokens:0 | 与「并发调用」混淆——batch 是异步提交整体调度,不是并发限流技巧 |
| Model Tiering / Routing | 模型分层路由 | 按任务难度把请求分给 Haiku/Sonnet/Opus/Fable 不同档位 | 决策依据=evals 通过率×单价×延迟,而非「越大越好」;路由器成本计入总账 | 与「模型升级」混淆——分层是同一时刻的空间切分,升级是时间上的版本迁移 |
| Version Pinning | 版本锁定 | 生产固定用带日期快照模型 ID(如 claude-haiku-4-5-20251001)而非漂移别名 | 保证「今天的行为=上周评估过的行为」;模型 ID 是配置不是代码 | 与「API 版本头」混淆——anthropic-version 锁协议,快照 ID 锁模型行为 |
| Canary Release / Gradual Rollout | 灰度发布 | 新版本按 1%→5%→25%→100% 承接流量,异常即回滚 | 模型升级的标准发布形态;稳定哈希避免同用户体验抖动;新旧分标签对比 | 与「A/B 测试」混淆——灰度是发布安全机制(目标=可回滚),A/B 是效果实验(目标=选优) |
| Regression Evaluation | 回归评估 | 用 golden dataset 对比新旧模型/配置的任务通过率,防行为退化 | 模型升级/退役迁移的前置门槛;模块 12 展开为完整 evals 体系 | 与「测试」混淆——evals 评概率性行为的质量分布,不是确定性断言 |
| Workload Identity Federation | 工作负载身份联合 | 云平台身份换短时效 token,无静态密钥 | 官方对生产负载/CI/CD/K8s 的推荐认证方式——消除静态 secret 的轮换与泄露面 | 与「API key 轮换」混淆——轮换是缓解,Federation 是根治(token 分钟级过期) |
| request-id | 请求标识 | 每个响应自带的唯一 ID(req_ 前缀),报障与对账钥匙 | 结构化日志必挂字段;AWS 上另有 x-amzn-requestid 主 ID | 与 trace-id 混淆——request-id 对 Anthropic 侧,trace_id 对你内部链路 |