单次请求更便宜，完成一个任务的成本仍可能更高。上图是合成示例。两个模型各接 100 个任务，旧模型总成本 9 美元，成功 90 个；候选模型总成本 8 美元，只成功 70 个。每个成功任务的成本从 0.10 美元升到约 0.114 美元，尚未算人工修复。两组总成本都已计入重试。
先写清楚什么算成功
用产品里的实际结果判定。助手保存草稿后，通过正常入口重新打开记录，核对存下来的字段。只有确认文案或接口成功状态时，任务仍待验证。抽取任务要把字段和原文逐一对照，缺证据时标未知。跑模型前就确定哪些失败足以阻止上线。
两个版本用同一批任务
固定模型版本、提示、工具权限、重试策略和时间预算。想单独评估模型变化时，周边配置保持一致。每条记录预期结果、两个模型的实际结果、耗时、重试次数和总成本。样本既要覆盖常见请求，也要覆盖容易带来损失的情况，如输入有歧义、缺少字段或工具超时。可能产生实际写入的工具放在隔离环境，用经授权和脱敏的输入。
逐条看两边的差异。如果候选模型修好五个用例，却弄坏三个旧模型能做对的用例，先追查这三个。耗时在相同输入上比较。把全部尝试产生的模型与工具成本除以成功任务数，报成本时同时给出成功数。全失败时，这个比值无定义。
小范围上线前，验证回退
保留原模型作为可切回的版本。先离线评估。在数据和权限允许时，也可用禁用副作用的影子流量。候选通过评估后再小范围上线，事先写明哪些关键失败、完成率下降或延迟变化会触发回退，并实际确认切回路径。供应商故障回退能帮助应用维持可用性。候选正常响应时，仍要单独监测质量。
为什么值得做这个比较
Amelia Charles 和 Harpreet Arora 在 2026 年 11 月 AI Gateway 生产指数中报告，10 月 Vercel AI Gateway 的语言模型请求超过一半流向进入该网关不足 60 天的模型版本。报告覆盖该服务的聚合流量。版本更新频繁，值得把评估做成可重复的步骤，具体业务的表现仍要用自己的样本确定。Vercel 的模型切换练习也建议先核对代表性提示或影子流量，再替换主模型。记录验收证据时可配合AI 生成代码验收清单。