agent 說它做完了，你要怎麼知道真的做完：看環境終態，不看它的自我報告

為什麼「它說做完了」不能直接採信

很多人第一次把工作交給 agent，都會經歷同一個瞬間：畫面跳出「已完成」，你鬆一口氣去做別的事，問題幾小時後才爆出來。這一節要拆解那行字為什麼不能當驗收依據。

「已完成」這四個字在 agent 世界裡實際代表什麼

agent 是一套會自己判斷下一步、自己呼叫工具執行的程式。它回報「已完成」，說的是「我該送的指令都送出去了」，不是「世界已經變成你要的樣子」。中間隔著權限對不對、系統有沒有回應、資料正不正確。Anthropic 2025 年發布的代理評估文件講得很直白：驗收要看環境終態，例如訂位有沒有真的寫進資料庫，而不是聽 agent 自己說完成。

三個常見的假完成場景：客服、報表、檔案修改

第一個場景是客服。agent 把草稿寫好放進系統就回報完成，但工單還停在「待處理」，客戶根本沒收到。Salesforce 2025 年公布 Agentforce 累計處理 260 萬次對話、自行解決 63%，這類數字要由平台端出帳，正是因為「解決」得有系統紀錄才算數。

第二個場景是報表。檔案生成了，打開卻有幾個科目是空的，因為原始 PDF 是掃描圖、字型編碼壞掉。我們協助客戶做醫院財報解析時就吃過這種虧：同一份報表有兩套科目名稱、兩種計價單位，格式沒對上它照樣回報完成。驗收要看欄位填滿率與交叉核對，不是看檔案有沒有出現。

第三個場景是檔案修改。它改的可能是舊版，或改完沒存回共用資料夾，同事打開還是舊內容。這類錯誤最難抓，因為畫面一切正常，要等有人拿去用才發現。

所以判斷順序要反過來：先問「去哪裡看結果」，把查看位置寫進流程（工單系統、共用資料夾或資料庫），再問「它說了什麼」。這兩個問題對調，就能擋掉大部分假完成。

環境終態：驗收要看世界變成什麼樣，不是聽它報告

環境終態講的是跑完之後，資料庫、檔案、寄件匣這些地方實際留下的狀態。它跟 agent 交出來的報告是兩份不同的東西：報告是它對自己動作的理解，終態是任何人打開都能看到的證據。兩份對不上時，以終態為準。

四個詞的白話版：task、trial、grader、outcome

Anthropic 在 2025 年公布的評估文件，把驗收拆成四個詞。task 是任務，例如把這批醫院財報整理成表格。trial 是回合，同一任務跑一次算一回合；模型每次結果不完全一樣，要看多次之後的穩定度。grader 是評分者，可以是規則或人，決定這次算不算過。outcome 是終態，指跑完之後資料庫、檔案、寄件匣實際留下的狀態。

四個詞裡最容易被跳過的是終態，因為前三項在 agent 的工作範圍內，只有第四項要你親自去看。

終態檢查的五個地方：資料庫、檔案、寄件匣、工單、金流

實務上看這五個地方：

要逐一打開，是因為 agent 的錯誤很少是「什麼都沒做」，多半是「做了一半」。例如資料寫進資料庫卻漏了兩個科目，或信寄出去了、附件還是舊版。這類半成品在報告上看起來完全正常，只有回到環境對數字才會露出來。

如果流程沒辦法讓你在這五個地方查到結果，它本來就不該交給 agent。沒有終態可檢查，等於沒有驗收標準。能打開來看、能對數字、能重跑一次的，才算驗收。

把驗收寫進職務說明書：一張客服 agent 的驗收表

把工作交給 agent 前，職務說明書除了寫它做什麼，還要寫「做到什麼程度算完成」。沒寫，上線後各說各話：它說做完，你說不對，卻沒有事前標準可對照。驗收表必須在交付前填好，不能等第一季報表再補。

驗收表的五個欄位與填法示範

一張可用驗收表只要五格。完成定義講清楚交付物長什麼樣、落在哪個系統；可接受誤差寫明正確率低於多少算不合格；抽樣比例說明每次人工抽查幾件、由誰抽；簽核人要指名一位自然人，不能寫「部門主管」這種模糊職稱；失敗時退回哪一步，要寫清楚退回重跑、退回人工，還是直接停用。這五格不能省，因為 agent 沒有法律人格，出事時負責的是公司與那位被指派的自然人，簽核欄空白等於沒有人負責。

以客服 agent 為例：完成定義是「客戶問題在系統留下案件編號，回覆內容已寄出」；可接受誤差是「意圖判斷正確率不低於 95%，退款金額錯誤率為零」；抽樣比例是「每週隨機抽 50 件，爭議案件全數人工複核」；簽核人填客服部門指定主管；失敗時退回人工客服佇列，並暫停該類問題的自動回覆。填完五格，驗收就從一句感覺變成一份可以拿出來吵的依據。

門檻事前寫死，停損才有依據。麥當勞 2024 年 6 月結束與 IBM 的得來速語音點餐合作，原因就是未達自訂的 95% 準確率，實際只有八成多；門檻早寫好，判斷不必拖。Klarna 2025 年 5 月回頭補人類客服，執行長自承把成本當主要評估指標，品質那條線沒一起寫進驗收表，數字漂亮一陣子才發現不對。

驗收表真正的作用，是讓你在還來得及的時候知道要停，同時也是給 agent 的規則：超出誤差就往上報，不要自己硬做。寫進職務說明書，比事後檢討有用。

不能全驗怎麼辦：抽樣、失敗聚類與每週看板

一個 agent 每天產出幾百筆報價、回覆或摘要，不可能全驗。務實做法是把驗收拆成三層，每層只看該看的，再用抽樣與分類，把幾百筆收斂成幾十筆、再收斂成三大類。

三層驗收架構與每一層實際要看什麼

第一層在開發期，準備二三十題標準答案案例，每次改動跑一遍，看方向對不對。第二層在上線前，重點是回歸測試：把過去真正出錯過的案例當題庫，每次改版重跑，因為 agent 很容易修好 A 卻弄壞 B。第三層在上線後，靠線上監控加人工抽查。系統自動記錄每次執行結果與錯誤類型，人只抽看一部分，比例依風險決定：動到錢與客戶資料的原則上抽兩成以上，其餘工作一週抽幾十筆就夠。

抽完要分類，這是省力關鍵。Google 的 Agent Quality 白皮書把出錯案例聚類成幾大類，做法是把每週抽到的錯誤貼標籤，例如資料抓錯、格式不符、該停沒停、答非所問，只盯前三大類件數有沒有下降。

只看趨勢：某類連續兩週往上，代表系統性問題，改規則或補資料有機會一次解決；錯誤散在十幾類、每類一兩件，多半是雜訊，不必追。每週看板只放三件事：總件數、前三大類件數、本週新案例有沒有進題庫。

替代方案有限公司觀點：我們七個 agent 的驗收長什麼樣

我們公司自己跑七個 agent：兩個接直接交代的任務，兩個處理排程，一個對內當營運長、一個對外當業務長，剩下三個扛重型任務。敢把它們當同事，是因為給了權限，而且把權限管理集中在自己控制的機器上。只用對話框問答、不給任何權限，AI 就會一直停在「幫我想一下」的階段，很多公司買了工具卻沒感覺。

給了權限之後，驗收就不能靠它自己回報。我們的規矩是只看環境終態：資料庫裡有沒有那筆資料、報表上的數字對不對、檔案有沒有真的產出。交上來的文字說明一律當參考，對不上就以系統裡的紀錄為準。

報價解析系統的三條驗收界線：資料不落地、次數有上限、範圍有邊界

用我們做過的報價解析系統當例子。客戶要的是一套財報教學系統，資料是公開財報，每年約 225 到 240 家醫院，三年下來累積七百到一千兩百筆「醫院乘年度」的組合。以前人工一份一份抄，現在由多模態模型直接讀 PDF 與掃描圖，比率自動算，畫面上左邊選醫院、中間對話、右邊儀表板。

驗收標準是三條界線。一是學生上傳的檔案只供當次對照，不寫入資料庫，資料不落地。二是每個工作階段限定對話次數，避免被當免費算力。三是只能看本院歷年與同業對照，不能一次抓走全庫。這三條同時是功能規格與驗收題目，測試時就照這三條去撞，撞得過才算過關。

還有一條界線。agent 沒有法律人格，不能簽名，也不能負責，出事的時候，負責的是我們公司，以及那一位被指派的自然人。我們給它權限，卻不給它責任，責任始終留在人身上。

常見問題 FAQ

Q：agent 跟我說它做完了，我要怎麼確認真的做完？
不要聽它自己說，要看它實際動了什麼。Anthropic 的評估文件講得很清楚，要看環境終態，例如訂位有沒有真的寫進資料庫、檔案有沒有真的存進去、報表數字對不對。它說「完成了」只是它的說法，系統裡的狀態才是證據。實務上可以要求它交出做了什麼、改了哪些東西的紀錄，你再去看那些東西是不是真的存在、內容對不對。它講得再肯定，都只是它的說法。

Q：驗收標準要怎麼定，才不會它說過了、我卻覺得沒做？
標準要在交辦之前就寫清楚，而且要是可以量測的東西。麥當勞的例子是自訂 95% 準確率，沒達到就不算過。台灣大哥大的文字客服是自助率 97%、正確率 95%、滿意度 96%，這些都是有分母、有算法的數字。反過來說，如果只寫「處理好客服問題」，那它說做完、你說沒做完，永遠吵不完。另外要注意，自動化率不等於省下的人力，有會計師事務所的案例是自動判定率 68.76%、正確率 98.90%，但剩下三成多送人工的往往是最難的，不能直接拿 68% 去換算省了多少人。

Q：它自己說做對了，為什麼不能直接相信？
因為 agent 的誤差會累積，而且它不會知道自己錯在哪裡。Anthropic 提醒，agent 是一連串動作串起來的，前面錯一點、後面就跟著偏，它回報「完成」時可能只是流程跑完了，不代表結果對。Google 的 Agent Quality 白皮書建議分三層看：開發時先做快速評估，上線前用測試案例回歸，上線後持續監控，並把失敗案例聚在一起找原因。Klarna 就是一個例子，當初把成本當主要評估指標，數字很漂亮，後來執行長自己承認品質下降，回頭補人類客服。所以驗收要看結果，也要定期回頭看，不能只信它一次回報。

📩 有任何問題或需要協助，歡迎聯絡我們：[email protected]