🎯 学习重点:把模型能力、消息协议、计量限流和生命周期四组词串成一条架构决策链。 返回:模块 02 主讲义
🎯 学习重点:模型选型是质量、延迟、上下文与单位成本的联合优化,不是单轴排名。
Model Family — 模型家族 — 同一产品线共享定位但能力、延迟、窗口和价格不同,路由策略应显式记录选择依据。
Model ID — 模型标识 — 生产配置与审计必须记录实际调用 ID,不能只写“用 Claude”。
Pinned Snapshot — 固定快照 — 同一 ID 指向固定版本,但切换新 ID 仍需契约测试和影子评估。
Legacy Model — 旧版模型 — 仍可调用但不再作为新系统首选,应进入迁移盘点。
Knowledge Cutoff — 知识截止日期 — 截止日期之后的事实应通过检索或工具核验,不能靠模型档位补救。
Adaptive Thinking — 自适应思考 — 模型自行分配推理量,质量收益会同时增加输出 token、延迟与 OTPM 压力。
Extended Thinking — 扩展思考 — 手动启用的思考模式,支持情况取决于具体模型,不能跨版本想当然。
Effort — 推理力度 — 应按任务风险分层设置,简单高频任务默认高档会形成隐性成本。
Model Routing — 模型路由 — 按任务复杂度和风险把请求分配到不同模型,是控制单位经济性的核心杠杆。
🎯 学习重点:顶层 system、交替角色和 content blocks 是 Messages API 的协议骨架。
System Prompt — 系统提示词 — 位于顶层 system 参数,用于定义整轮对话的稳定行为边界。
Message Role — 消息角色 — 输入使用 user 与 assistant 交替,不存在可伪造的 system role。
Content Block — 内容块 — text、image、document、tool use 等统一结构让多模态和工具协议可组合。
Assistant Prefill — 助手预填充 — 旧式续写约束手法在新模型存在弃用边界,生产系统应改用结构化输出。
Conversation Turn — 对话轮次 — 连续同角色消息会合并,应用不能依赖它们保持独立轮次语义。
Message Limit — 消息数上限 — 单请求最多 100,000 条消息,但通常会更早受 token、质量和延迟约束。
🎯 学习重点:格式支持不等于容量可用,图片、页数、请求体和 token 各有独立上限。
Multimodal Input — 多模态输入 — 文本、图片和文档共同进入上下文,需统一做成本与容量预算。
Base64 Source — Base64 来源 — 直接嵌入请求便于一次性调用,但会扩大传输体积并重复发送字节。
URL Source — URL 来源 — 由 API 拉取在线资源,架构上要考虑资源可访问性和生命周期。
File ID — 文件标识 — Files API 引用适合多轮复用,可避免客户端反复传输同一文件字节。
Visual Token — 视觉 token — 图片按 28×28 patch 计量并占输入窗口,预处理会直接影响成本。
Downsampling — 降采样 — 在保留任务所需细节前提下降低分辨率,是视觉负载的成本控制手段。
Request Body Limit — 请求体上限 — 32MB 与上下文 token 是两条不同边界,接入层必须分别校验。
🎯 学习重点:同一批 token 在窗口、ITPM 与账单中的口径可能不同,必须保留原始 usage 字段。
Usage — 用量 — 响应中的权威计量账本,应按请求持久化以支持成本、容量和异常归因。
Input Tokens — 输入 token — 缓存场景下只表示最后缓存断点之后的普通输入,不能直接当总输入。
Output Tokens — 输出 token — 包含 thinking token,通常单价更高且同时消耗 OTPM。
Cache Creation Input Tokens — 缓存写入 token — 以 1.25x 计费换取后续低价读取,只有重复使用才可能回本。
Cache Read Input Tokens — 缓存读取 token — 以 0.1x 计费且多数模型不计 ITPM,但仍占上下文窗口。
Token Counting API — Token 计数 API — 正式发送前估算输入,是硬窗口预检与报价系统的基础。
RPM — 每分钟请求数 — 请求维度的速率上限,最终吞吐还要与 ITPM、OTPM 共同取最小值。
ITPM — 每分钟输入 token — 输入容量闸门,长上下文负载通常先在此受限。
OTPM — 每分钟输出 token — 输出容量闸门,长答案或高 thinking 会快速消耗配额。
Token Bucket — 令牌桶 — 配额连续回补而非整点重置,短时突发也可能触发 429。
Acceleration Limit — 加速限制 — 流量突然爬升可能被限制,恢复策略应平缓增载。
Spend Limit — 花费上限 — 月度预算闸门,触顶后的 429 与可重试限流不是同一种故障。
🎯 学习重点:HTTP 状态、SSE 传输状态与模型停止原因是三层不同信号。
Stop Reason — 停止原因 — 决定自然完成、截断、工具调用或续跑分支,应用必须显式路由。
End Turn — 自然结束 — 表示模型主动结束本轮,但仍需业务校验与格式校验。
Max Tokens — 最大 token 停止 — 表示输出可能被硬截断,禁止直接把半截 JSON 送入下游。
Pause Turn — 暂停轮次 — 服务端工具循环暂歇,需原样回传 assistant 内容继续。
Model Context Window Exceeded — 模型上下文超限 — 需要裁剪或压缩,原样重试不会修复。
Streaming — 流式输出 — 降低首 token 感知等待,但不降低总生成量或输出成本。
SSE (Server-Sent Events) — 服务端推送事件 — 单向事件流协议,客户端必须处理事件顺序与流内错误。
Partial JSON — 部分 JSON — 工具参数 delta 尚未完整,必须累积到 block 结束后再解析。
TTFT (Time to First Token) — 首 token 时间 — 衡量感知延迟,必须与总完成时长分开监控。
🎯 学习重点:模型升级是契约变更,版本、参数、云平台日程都要纳入治理。
Active — 活跃 — 完全支持且推荐使用的生命周期状态。
Deprecated — 已弃用 — 仍可用但已有迁移期限,应启动替代模型验证。
Retired — 已退役 — 已不可调用,请求会失败,不能靠重试恢复。
Deprecation Notice — 弃用通知 — Anthropic 自营平台公开模型退役前至少 60 天通知,团队仍需主动订阅和盘点。
Shadow Traffic — 影子流量 — 将真实请求复制给候选模型但不影响用户,用于升级前比较行为与成本。
Contract Test — 契约测试 — 验证参数、输出结构和停止原因等接口行为,防止模型升级造成静默破坏。
Model Deprecation — 模型弃用 — 模型状态变化不等同于云平台同步退役,Bedrock 与 Google Cloud 日程需分别核验。
🎯 学习重点:模型价格、限制与生命周期属于易变事实,实施前必须按目标平台重新核验。