如何评估 AI Agent 的效果？有哪些评估维度和方法？

标签：AI、大模型、Agent

🏛 业务架构师

评估 AI Agent 的效果，我按"分层指标+组合方法"讲：

四个评估维度：

任务完成质量：成功率（端到端完成比例）、完成质量分（人工或 LLM-as-Judge 评产出物质量）、正确性（结果与标准答案比对）；
效率与成本：平均循环步数、总 token 消耗、单任务成本、端到端时延——商业可行性的硬指标；
安全与稳定：熔断率/超时率、幻觉率、越权尝试拦截率、人工接管率——企业敢不敢放手的依据；
用户体验：任务耗时接受度、用户满意度（CSAT）、复用率/周活——价值验证的最终裁判。

方法组合：

基准测试（离线）：构建任务级评测集（典型任务+对抗任务），可复现地回归——每次改提示词/换模型必跑；
过程评估：不只看结果，跑 trace 抽查中间步骤（工具选对没、参数合理没）——Agent 的错误多数在中间步骤埋下；
LLM-as-Judge：用强模型按 rubric 批量打分，配合人工抽检校准（judge 与人的一致性要先验证）；
线上 A/B 与影子模式：新旧版本分流对比；新 Agent 先"影子运行"（只观察不执行）攒数据再给权限。

业务落地要点：指标要挂到业务账上——"成功率 85%"翻译成"每月自动处理 X 单、省 Y 人天、错误损失 Z 元"。评估不是学术练习，是决定 Agent 权限边界（全自动/人审/仅建议）的定价机制。

🏗 系统架构师

Agent 评估我按四维指标 + 三段方法讲，比"看效果好不好"严谨得多：

四个维度：

任务质量：任务完成率（端到端成功比例，核心指标）、子步骤成功率（归因到环节）、输出质量（正确性/完整性/格式合规，LLM Judge + 人审校准）；
效率与成本：平均步数、token 消耗/任务、延迟 P50/P99、单任务成本——Agent 的"油耗表"；
安全与稳健：越权尝试拦截率、注入攻击成功率（红队测）、幻觉率（答案与检索/事实的一致性）、熔断触发率（死循环/失控的代理指标）；
用户体验：任务采纳率、人工接管率、修正次数（用户改了多少次 Agent 的输出）。

三段方法：

离线评估（发布门禁）：任务级评测集（输入 + 可验证的成功判据，如"测试通过""答案含字段 X"）——Agent 任务比 QA 更适合可执行验证（跑测试、查库比对）而不是主观打分；每次迭代回归；
在线评估：A/B 分流对比核心指标 + 影子模式（新版本跑双份不影响线上）；
轨迹分析：trace 每步决策，失败任务回放归因（规划错/工具错/上下文丢失）——这是 Agent 特有的评估维度，比只看结果更有迭代价值。

架构提醒：Agent 评测环境要隔离（沙箱跑工具）、可重放（记录全部中间状态）；评估集随 badcase 持续扩充。没有评估体系的 Agent 团队，等于没有测试的上线团队。

💻 全栈开发专家

Agent 评估我按「四维度 + 三方法」做：

评估维度：

任务成功率（北极星）：端到端完成比例——按任务类型分层看（简单/复杂、单步/多步）；
过程质量：工具选择准确率（该用哪个工具）、参数准确率（参数合法且正确）、步数效率（完成任务的平均步数 vs 理想步数）、循环率（重复动作占比）；
成本延迟：单任务 token 成本、P50/P95 时长；
安全合规：越权尝试率、高危确认遵循率、注入攻击拦截率、幻觉率（有据可查的回答占比）。

评估方法：

轨迹评估（离线主力）：录制真实任务的完整轨迹（LangSmith/自研 trace），小改动跑轨迹回归——LLM-as-Judge 按轨迹打分（目标达成/工具合理/无冗余），加上规则断言（「必须先查询再修改」这类硬约束）；
人工评估：抽 10~20% 轨迹盲评，重点覆盖自动化 judge 不确定的长尾；同时用人工结果校准 judge 的偏差；
线上评估：影子流量（新版本跑真实请求不出结果只对比）、A/B 灰度（任务成功率、转人工率、用户负反馈率）、badcase 周会归因回流评测集。

工程要点：评测集按业务场景建 100~300 条，含边界和对抗样本；每次 prompt/工具/模型变更必须过回归；judge prompt 要有 rubric（评分细则），否则打分漂移；指标要能下钻——成功率掉了能定位到是工具选择错了还是上下文丢了。