榜单测的是题目，不是能力。企业真正要问的是「这个 Agent 在我自己的流程里能不能把一件事做完」。本文给一套可复现的评测口径。
2026-11-13 · Agent 评测、基准、企业采购
一句话：榜单分数回答不了"它在我这儿能不能干活"。要回答这个，只能用你自己的任务集，而且要公开失败样例。
三个原因：题目公开，模型可以针对性优化；题目是别人挑的，不代表你的流程；只测单步正确率，不测端到端完成率。
| 项 | 做法 |
|---|---|
| 任务集 | 从企业真实流程里取 20 个任务，含 5 个已知失败样例 |
| 指标 | 端到端完成率、返工次数、人工介入次数、耗时 |
| 对照 | 同一任务集跑三家，同一口径打分 |
| 公开 | 任务集与失败样例可下载，结果可复现 |
稳定性用一个简单办法验：同一 Agent 连测两次，比较方差。两次方差大于 5%，这个分数就不能用来做采购决策。
20 个任务谁写的？如果任务集出自被评测厂商或平台自己，就是自己出题自己考，方差再小也没意义。
这条也对。所以规则要加一条：任务集必须由采购方或第三方编写，评测方不得参与选题。做不到这一点，其他指标再漂亮都不算数。
别问"你们排第几"，问三个问题：任务集能不能给我看？失败样例有没有？两次评测的方差是多少？三个都答不上来，分数就不用看了。
题目公开可被针对性优化、题目不代表企业流程、只测单步正确率不测端到端完成率。
用企业自己的真实任务集做端到端测试，记录完成率、返工次数、人工介入次数和耗时。
同一 Agent 两次评测方差应小于 5%，超过就不能用来做采购决策。
由采购方或第三方编写，评测方不得参与选题，否则就是自己出题自己考。