想像一個只有「每週郵件」開關的設定頁。你關掉開關,按下儲存,介面提示「已儲存」。瀏覽器測試看到提示,也順利通過。但你開了一個新分頁,開關又是開啟的。兩次觀察可以同時成立:介面回報成功,重新讀取時卻找不到新值。

Evan X. Merz 在文章中提到,AI 產生的測試可能只檢查表面行為,改動累積後,程式碼也可能更難維護。這是他對自己工作經驗的觀察。可以拿來檢查下一次改動,無法據此推算其他團隊的故障率。

對同一次儲存問三個問題

  1. 使用者看到了什麼? 從正常的設定頁進入,選一個知道原值的設定。改動後觀察介面顯示成功、失敗,還是結果未確認。
  2. 重新開啟能讀到什麼? 重新整理或在無法沿用編輯表單狀態的新環境中重新開啟頁面。核對同一使用者的確切值。若產品承諾跨工作階段同步,等到約定的同步時機,再從另一個工作階段核對。
  3. 回應遺失會怎樣? 在獲授權的測試環境中,讓服務儲存新值,但讓瀏覽器收不到回應。重新開啟頁面。如果開關已經關閉,再送出同一次意圖時,確認約定的副作用只發生一次,例如不會額外寄出通知。

分開驗證兩種失敗

請求在寫入前失敗時,應保留舊值。寫入成功後回應遺失時,新值可能已經生效。這兩種情況在頁面上都可能呈現為逾時。下一步取決於讀回的結果。把開關重複設成同一個值可能沒影響。若儲存還會寄信或建立紀錄,就要另外核對這些動作。

保留原值、讀回的最終值和重試後的結果。請 Agent 指出一條具體測試,解釋如果服務悄悄停止儲存資料,這條測試會在哪裡失敗。審查者也能從同一個入口複查。若還要檢查其他改動,可參考 AI 產生程式碼驗收清單。

來源

設定頁與配圖為 Boloop 自製的說明範例。