可观测与运维 (O)
ETCLOVG 之 O 层：trace、成本、失败与可靠性信号。追踪平台、agent 专用运维、成本优化、可靠性工程、统一可观测。
本节对应综述《Agent Harness Engineering: A Survey》§7，是 ETCLOVG 七层的第五层，也是综述从“lifecycle hook 的副产物” 提升为一等层的两层之一。理由是可观测性已催生专门的平台、规范与工程实践生态，值得独立处理。
追踪与监控平台
agent 可观测的基础是结构化 trace 采集：把每次 LLM 调用、工具调用、检索步骤、上下文装配操作记录为可检视、过滤、重放的 span 树。
| 层次 | 系统 | 要点 |
|---|---|---|
| 交互式 trace 平台 | Langfuse、Opik、Arize Phoenix、MLflow | trace 树、延迟火焰图、token 用量分解、成本归因看板、prompt 版本化；经轻量 SDK（如 @traceable）低侵入接入 |
| 埋点标准 | OpenTelemetry (OTel)、OpenLLMetry、OpenInference | OTel 成事实标准，发布 genAI 语义约定；后两者自动埋点，使 agent trace 流入既有 Prometheus／Jaeger／Grafana／Datadog 后端 |
| 深层／进程外 | AgentSight、AgentTrace | AgentSight 用 eBPF 在进程外监控（拦 TLS 边界 LLM 流量捕意图、监内核事件捕动作，<3% CPU 开销，不能被被攻陷 agent 绕过）；AgentTrace 三“面”日志（认知/操作/上下文） |
AgentSight 的结构性优势值得注意：系统级监控不能被被攻陷或误配的 agent 绕过，对安全关键部署尤其相关。
agent 专用运维平台
通用平台以 LLM/工具/检索为 span 级事件；agent 专用平台增加捕获agent 级关切（多步会话追踪、身份与角色、工具选择策略、 跨会话状态交接）。
| 系统 | 贡献 |
|---|---|
| AgentOps | 分层 span 模型，围绕 agent 生命周期组织会话/agent/操作/工作流/工具调用/LLM 调用 |
| RagaAI Catalyst、Laminar | RAG 与多 agent 质量安全看板；OSS-first 的 trace+评估+prompt 管理 |
| Watson | “认知可观测”——surrogate agent 重建推理 trace（prompt 归因），在 MMLU/SWE-bench-lite 上助手动调试与自动纠错 |
| AgentLens | 三窗格可视分析（Outline/Agent/Monitor View），14 人用户研究显著优于仅重放基线 |
| NLAH | 把 harness 本身当一等研究对象，系统消融量化各模块（工具 registry、权限、hook、skill、context folding）贡献 |
学术侧提出六阶段 AgentOps 自动化管线（观察→采指标→检测异常→根因分析→推荐修复→自动修复），并有用户研究显示 79% 的 实践者把非确定性执行流列为 agentic 系统最大挑战。NLAH 的含义是：harness 不只是被监控对象，更是干预源，每个可消融 模块都是可观测管线能标记与调优的旋钮。
成本追踪与优化
LLM 按 token 计价，harness 放大成本敞口——单任务可触发数十次各带 prompt 装配的 LLM 调用。需求有二：追踪与优化。
| 方向 | 系统 | 要点 |
|---|---|---|
| 追踪 | TensorZero、Helicone | 统一 LLMOps 栈（网关+可观测+实验+优化）；drop-in 代理零代码加成本/延迟监控 |
| 优化-路由 | FrugalGPT、QC-Opt | prompt 适配/LLM 近似/LLM 级联，自适应级联最高 98% 成本削减匹敌 GPT-4；质量感知联合优化 |
| 优化-缓存 | GPTCache | 语义缓存层，用 embedding 相似度拦截重复/改写查询 |
| 优化-服务侧 | Dual-Pool Routing、TALE | 按 token 预算分短/长上下文池，降 31–42% GPU-hours；TALE 发现 token 弹性（预算设太低反增消耗） |
综述提醒成本可观测须跨多层（API 级 token、应用级路由、基础设施级利用率），并引 Anthropic 研究警示：仅基础设施配置就能 让基准分数偏移 6 个百分点（p<0.01）——成本优化与评估保真度紧密交织，为省成本削减资源可能在无细粒度可观测时悄然降级。
可靠性工程
失败恢复、checkpoint／resume、重试、会话恢复决定长程 agent 能否挺过瞬时故障。综述引 Anthropic 归纳的长程编码 agent 四种 反复失败模式：试图一次性完成整个任务、过早宣告完成、在会话间留下损坏环境、未经测试就标记完成。其方案以 harness 设计而非 模型改进应对（initializer agent 分解任务并建进度产物，coding agent 逐特性增量推进并留干净交接态）；后续 GAN 式三 agent （planner／generator／evaluator）引入 sprint 契约与分离的自评估。综述强调harness 复杂度应随模型能力调整：从 Opus 4.5 升 4.6 时移除 sprint 与上下文重置，成本 $200→$125 而质量不降。Managed Agents 架构把“大脑”（harness+LLM）、“手”（沙箱+ 工具）、“会话”（持久事件日志）解耦、各自独立可恢复，将组件从“宠物”变“牲畜”。
失败模式分类与运行时检测：
| 工作 | 贡献 |
|---|---|
| MAST | 多 agent 系统 14 种失败模式，聚为系统设计/agent 间错位/任务验证三类（κ=0.88） |
| AgentErrorTaxonomy | 按模块（记忆/反思/规划/动作/系统）分解；错误传播是核心瓶颈，AgentDebug 隔离根因得最高 26% 相对提升 |
| QSAF | 形式化认知退化为六阶段生命周期，揭示幻觉输出可被存入持久记忆并跨会话复用，形成自强化退化循环 |
| SentinelAgent、AgentFixer | 图建模三层异常分类；15 验证工具在 IBM CUGA 上 64–88% 检出率，发现 38% 失败源于解析错误（可被确定性检查覆盖） |
实践含义：可靠性需分层检测——规则检查结构性失败、统计监控性能漂移、LLM 语义分析推理失败。
迈向统一可观测
综述以三点收束：可观测—评估断层（89% 团队用可观测但仅 52.4% 跑离线评估，二者需作为单一反馈回路）；统一 LLMOps
栈（网关+可观测+评估+优化捆绑，Managed Agents 把 harness 组件虚拟化为 execute()/emitEvent()/getEvents() 可替换接口）；
harness-as-assumption 原则——理想的可观测应含元监控层，追踪哪些干预（上下文重置、评估回路、工具限制）仍在“承重”，从而
在模型升级的同时持续简化 harness。