跳转至

智能体运行框架工程：综述与分类体系

概述

本页综合了两篇相关的 2026 年综述论文，二者共同界定了运行框架工程这一学科：

综述 A — "Agent Harness Engineering: A Survey"（Picrew et al.，投稿至 TMLR，2026）将运行框架工程确立为一门独立的系统学科，并提出了 ETCLOVG 七层分类体系，用于描述语言模型如何被集成到生产级应用框架中。该综述涵盖 110+ 篇论文，分析了 23+ 个已部署系统。

综述 B — "Agent Harness for Large Language Model Agents: A Survey"（Meng、Wang、Chen、Wu、Li、Jiang、Wang、Lu、Gao、Wu、Hu；arXiv:2605.29682，2026）提出了形式化的六组件运行框架模型 H=(E,T,C,S,L,V)，采用标记转换系统语义区分安全性与活性属性，同时给出了结构化的运行框架完整性矩阵，以及涵盖 23 个系统、110+ 篇标注论文的 HuggingFace 数据集。

两篇综述的核心论断一致：决定智能体大规模可靠性的首要因素是智能体执行运行框架（harness），而非模型本身。 仅工具格式优化一项，就使 SWE-bench 性能从 6.7% 提升至 68.3%——超过同期任何模型升级的效果。

  • 综述 A 项目页：https://picrew.github.io/LLM-Harness/
  • 综述 A OpenReview：https://openreview.net/forum?id=3hXEPbG0dh
  • 综述 B arXiv：https://arxiv.org/pdf/2605.29682
  • 综述 B GitHub 目录：https://github.com/Gloriaameng/Awesome-Agent-Harness
  • 综述 B HuggingFace 数据集：https://huggingface.co/datasets/GloriaaaM/LLM-Agent-Harness-Survey

ETCLOVG 七层分类体系

该分类体系将运行框架关注点分为四个结构支柱层与三个控制平面层。

结构支柱层（E、T、C、L）

层级 名称 描述
E 执行（Execution） 代码运行器、浏览器、文件系统、沙箱——模型外围的执行环境
T 工具（Tooling） 工具协议（MCP、A2A）、工具定义、动作空间管理、Schema 校验
C 上下文（Context） 上下文窗口管理、压缩、检索、缓存、技能注入
L 生命周期（Lifecycle） 状态机、鉴权、日志、策略执行、钩子、会话管理

控制平面层（O、V、G）

层级 名称 描述
O 可观测性（Observability） 跨所有结构层的全系统监控、链路追踪、指标、仪表盘与告警
V 验证（Verification） 跨组件的评测与反馈：LLM 充当评审、轨迹评分、基准测试
G 治理（Governance） 安全约束、人工交接点、人在回路（HITL）策略、审计日志、合规执行

结构层（E、T、C、L）决定智能体能做什么；控制平面层（O、V、G）决定其运行的可信度与安全性。

形式化模型：H=(E,T,C,S,L,V)

综述 B（Meng et al.，arXiv:2605.29682）将智能体执行运行框架形式化为一个架构元组，采用标记转换系统语义，区分安全性属性（必须始终成立的不变量）与活性属性（最终推进的保证）。各组件边界均明确定义：

符号 组件 职责
E 执行循环（Execution Loop） 观察-思考-行动循环、终止条件、错误恢复
T 工具注册表（Tool Registry） 类型化目录、路由、监控、Schema 校验
C 上下文管理器（Context Manager） 上下文窗口管理、压缩、检索
S 状态存储（State Store） 跨轮次与会话的持久化、崩溃恢复
L 生命周期钩子（Lifecycle Hooks） 鉴权、日志、策略执行、埋点
V 评测接口（Evaluation Interface） 动作轨迹、中间状态、成功信号

与 ETCLOVG 的对应关系：S 映射到 ETCLOVG 的 C/L 层；O 和 G 代表六组件模型中未显式涉及的额外控制平面关注点。

实证依据

综述汇聚了大量具体证据，表明在生产环境中，运行框架设计对结果的影响超过模型选择：

发现 详情 来源
工具格式优化 仅通过格式变更，SWE-bench 性能从 6.7% 提升至 68.3% Pi Research
基准-合并差距 通过基准测试的 PR，人工合并率低 24.2 个百分点；差距每年扩大 9.6 个百分点 METR
减少工具优于模型升级 移除 80% 的工具，效果优于单纯的模型升级 Vercel 工程师报告
规模化零手写代码 每周合并 1,300 个 PR；失败归因于环境规格不足，而非模型能力 Stripe Minions / OpenAI Codex
记忆效率 Mem0 相比全上下文方案减少 90% 的 Token 消耗 Mem0 评测
吞吐量提升 AIOS 内核实现 2.1 倍吞吐量加速 AIOS 评测

九大技术挑战

综述识别出九个开放性挑战，并附有实证严重性数据：

序号 挑战 关键指标 / 依据
1 安全与沙箱隔离 前沿模型容器逃逸率 15–35%（SandboxEscapeBench）
2 评测与基准测试 自动化评测假阴性率 28%（OSWorld）
3 协议标准化 MCP（工具↔运行框架）：2–15 ms；A2A（智能体↔智能体）：50–200 ms
4 运行时上下文管理 基于 Schema 的技能注入带来 +16.2 个百分点的提升
5 工具调用与注册表 移除 80% 的工具，效果优于单纯的模型升级
6 记忆架构 Mem0 相比全上下文方案减少 90% Token；基准：LoCoMo、MemoryBank
7 规划与推理 接口设计对性能的影响超过模型能力
8 多智能体协同 拜占庭容错问题在对抗性多智能体场景中尚未解决
9 计算经济性 每任务平均 100 万 Token（AgencyBench）；全行业每周 13T Token 的增长率

运行框架完整性矩阵

综述 B 依据六组件模型对 23 个系统进行评估（来自 arXiv:2605.29682）：

类别 系统 备注
全栈（全部 6 个组件） Claude Code、PRISM/OpenClaw、AIOS、OpenHands、SWE-agent 生产级或研究级的完整运行框架实现
多智能体运行框架 MetaGPT、AutoGen、ChatDev、CAMEL、DeerFlow、DeepAgents 协同能力强；E/C/V 层完整性参差不齐
通用框架 LangChain、LangGraph、LlamaIndex 提供基础组件；完整性取决于用户配置
评测基础设施 HAL、AgentBench、OSWorld、BrowserGym 专用 V 层；非生产执行运行框架

HAL 评测基础设施（Kapoor et al.，2026）在九个模型、九个基准测试上完成了 21,730 次智能体推演，总成本约 40,000 美元，是综述周期内覆盖最广的 V 层部署。

AgencyBench（Li et al.，2026）跨 138 个真实任务评测六项智能体能力，每任务平均需要 100 万 Token，充分体现了长周期评测所需的计算规模。

论文覆盖范围

综述将 110+ 篇论文按脉络分类整理：

类别 代表性论文
历史脉络 JUnit（测试运行框架）、OpenAI Gym（强化学习环境）
核心智能体框架 ReAct、MemGPT、Voyager
多智能体系统 MetaGPT、AutoGen、ChatDev
评测套件 AgentBench、SWE-bench、OSWorld
安全研究 PRISM、InjecAgent、ToolHijacker
记忆系统 Mem0、MemoryBank、LoCoMo

历史时间线（1997–2026）

时代 时间段 里程碑
软件测试运行框架 1997–2015 JUnit、xUnit——作为被测代码测试脚手架的运行框架
强化学习环境 2016–2021 OpenAI Gym——为强化学习标准化的 E 层（环境）
LLM 原生框架 2022–2023 LangChain、LlamaIndex——面向 LLM 的工具注册表与上下文管理器
智能体生产系统 2024–2025 SWE-agent、OpenHands、AutoGen——用于自主编程与多智能体任务的完整运行框架
运行框架工程学科化 2025–2026 明确命名运行框架工程；自动化运行框架优化；正式分类体系提案

八大未来研究方向（Meng et al.，arXiv:2605.29682）

综述 B 指出了运行框架工程的八个开放研究方向：

  1. 形式化运行框架规范语言（DSL） — 用于表达运行框架契约的领域特定语言，支持自动化合规检查
  2. 跨运行框架基准可移植性 — 可在任何符合 H=(E,T,C,S,L,V) 的运行框架上无修改运行的测试套件
  3. 扩展 OWASP Top 10 的安全分类体系 — 覆盖工具劫持、上下文污染和智能体身份冒充的运行框架专项威胁模型
  4. MCP/A2A 协议互操作桥接 — 用于在工具调用（MCP）与智能体协同（A2A）协议之间路由的网关层
  5. 长周期评测方法论 — 针对需要 100 万+ Token 上下文的任务（参见 AgencyBench）的评测方案
  6. 感知运行框架的微调 — 以特定运行框架配置为条件、优化模型行为的训练流程
  7. 记忆接口标准化 — 可插拔记忆后端（S 层）的通用 API，实现 Mem0、LanceDB 等系统间的可移植性
  8. 运行框架透明度与可审计性 — 将运行框架决策（路由、压缩触发、工具选择）暴露给外部审计的可观测性原语

最佳实践

领域 描述 建议
工具注册表设计 工具越多，性能越差 从最小集合起步；仅在必要时添加工具；使用技能注入（C 层）控制暴露范围
上下文管理 基于 Schema 的注入优于扁平注入 使用结构化技能 Schema；按相关性注入，而非全量注入
评测（V 层） 自动化评测假阴性率 28% 将自动化指标与人工验证测试集结合使用；不要仅依赖 LLM 充当评审
安全（G 层） 容器逃逸率 15–35% 将沙箱隔离视为硬性要求；采用纵深防御；参见 智能体沙箱
记忆（S 层） 全上下文方案成本高 10 倍 默认情况下先评估 Mem0 或同类压缩方案，再考虑全上下文
多智能体容错 拜占庭容错尚未解决 生产环境中避免对抗性多智能体拓扑；高风险协同需设置人工审批门控
协议选择 MCP < 15 ms；A2A < 200 ms 工具调用优先选用 MCP；仅在可接受智能体间延迟时使用 A2A

参见

参考资料