（六）Agent 质量评估
解读 AWS 系列（六）的 Agent 质量评估实践。
业界实践解读 · 对应 ETCLOVG V 层（验证与评估）。 原文：https://aws.amazon.com/cn/blogs/china/agent-quality-evaluation/
AWS 的主张
- 核心问题：传统 text-to-text 评估不适用于做多步推理、工具调用、系统交互的 agent——评估须覆盖整体行为、任务成功率、 与用户意图的一致性，而不止表面文本质量。
- 多维评估：任务完成率与决策准确性、工具调用正确性（细粒度参数校验 + 粗粒度终态一致）、安全/偏见/合规、效率（延迟、 交互步数）。
- 方法融合：自动化 + 人工 + LLM-as-Judge，兼顾成本与质量；持续”评估→优化→再评估”循环。
- 参考框架/产品：AgentBoard（轨迹回放、进度率与 grounding）、AgentBench（8 类环境）、τ-bench（pass^k、规则合规）； Bedrock 评估与 Guardrails、SageMaker Ground Truth（人工标注）、Langfuse（成本与延迟追踪）。
这页有帮助吗？ 谢谢反馈。