單次請求更便宜，完成一個任務的成本仍可能更高。上圖是合成範例。兩個模型各接 100 個任務，舊模型總成本 9 美元，成功 90 個；候選模型總成本 8 美元，只成功 70 個。每個成功任務的成本從 0.10 美元升到約 0.114 美元，還沒算人工補救。兩組總成本都已計入重試。
先定義怎樣才算成功
用產品裡的實際結果判定。助理儲存草稿後，從正常入口重新開啟紀錄，核對存下來的欄位。若只有確認文字或 API 的成功狀態，任務仍待驗證。擷取任務要把欄位和原文逐一對照，缺證據就標成未知。執行評估前，先決定哪些失敗足以阻止上線。
兩個版本使用同一批任務
固定模型版本、提示詞、工具權限、重試策略和時間預算。想單獨評估模型變更時，周邊設定保持一致。每筆記下預期結果、兩個模型的實際結果、耗時、重試次數與總成本。樣本要覆蓋常見請求，也要包含輸入含糊、欄位缺漏或工具逾時等情況。工具若可能改變實際狀態，請在隔離環境使用經授權且去識別化的輸入。
逐筆比較差異。若候選模型修好五個案例，卻弄壞三個舊模型能做對的案例，先追查那三個。耗時用相同輸入比較。把所有嘗試產生的模型與工具成本除以成功任務數，報成本時也列出成功數。如果沒有任何成功任務，這個比值未定義。
小範圍上線前，驗證回退
保留原模型作為能切回的版本。先做離線評估，資料與權限允許時，也可用停用副作用的影子流量。通過後再小範圍上線。事先寫明哪些關鍵失敗、完成率下降或延遲變化會觸發回退，並實際確認切回路徑。供應商故障時可用備援模型維持可用性。候選正常回應時，仍要另外監測品質。
為什麼值得做這個比較
Amelia Charles 和 Harpreet Arora 在 2026 年 11 月 AI Gateway 生產指數中指出，10 月 Vercel AI Gateway 的語言模型請求超過一半流向加入該閘道未滿 60 天的模型版本。報告涵蓋該服務的彙整流量。版本更新頻繁，值得把評估做成可重複的流程，個別工作負載的表現仍要用自己的樣本確認。Vercel 的模型切換練習也建議先檢查代表性提示或影子流量，再替換主要模型。可搭配AI 生成程式碼驗收清單記錄證據。