**具身 Agent(Embodied Agent)**是在物理环境中通过传感器获取观察,并通过机器人或其他执行机构采取动作的 Agent。它需要把语言目标转化为可执行行为,同时持续处理空间、时间、动力学和安全约束。
具身 Agent 不等于机器人硬件,也不等于某一种视觉—语言—动作模型。完整系统还包括任务规划、技能库、状态估计、低层控制、安全机制和人工接管。
感知—行动闭环
典型闭环包括:
- 从相机、深度、触觉、力传感器或关节状态获取观察;
- 判断物体、空间关系、机器人状态和任务进度;
- 选择导航、抓取、放置或其他受约束技能;
- 由控制器执行动作;
- 获取新观察,验证效果并决定继续、重试、重规划或停止。
物理动作会真实改变环境,也可能产生不可逆影响。系统不能只根据先前计划连续执行很长时间,而应在关键动作后重新观察。
分层架构
具身系统通常采用分层控制:
| 层级 | 主要职责 |
|---|---|
| 任务层 | 理解用户目标、约束和完成条件 |
| 规划层 | 把长目标分解为可验证的阶段与技能 |
| 技能或策略层 | 根据当前观察选择一段导航、抓取或操作动作 |
| 控制与安全层 | 执行低层控制,限制速度、力、碰撞和工作空间 |
高层模型适合处理开放语言目标与重规划,但不应绕过低层安全控制,直接输出不受约束的关节动作。
视觉—语言—动作模型
视觉—语言—动作模型(Vision-Language-Action Model,VLA)把视觉观察和语言指令映射为机器人动作或动作片段。RT-2 展示了把视觉语言模型表示扩展到机器人控制的方式;OpenVLA 则提供了开放的 VLA 研究实现。
VLA 是具身 Agent 的一种策略组件,不代表完整 Agent。任务状态、工具、长期规划、权限、验证和故障恢复仍需由外围系统负责。
动作分块与反馈频率
一次只预测很短的动作,能更快利用新观察修正,但推理频率和延迟更高;一次生成较长动作片段,执行更连贯,却可能对环境变化反应不及时。动作分块长度应根据任务风险、控制频率和模型延迟选择,并在接触、抓取、人员靠近等关键节点缩短反馈周期。
世界模型
世界模型可以根据当前状态和候选动作预测未来观察,用于比较计划、发现风险或减少真实试错。但预测只是模型假设,不能替代真实传感器反馈。分布外环境、遮挡和物理接触都可能使预测失效。
仿真、示教与现实迁移
机器人数据昂贵且有风险,训练和评测常结合仿真、遥操作示教与真实环境数据。仿真便于重复、加速和构造失败场景,但材质、光照、动力学和传感器差异会形成“仿真到现实”差距。部署前需要在受控真实环境中逐步验证。
安全边界
- 使用速度、力、距离、碰撞和工作空间的硬限制;
- 提供独立于高层模型的急停、故障检测和安全控制器;
- 对人员附近、尖锐物体、热源和高价值物品采取更保守策略;
- 在未知环境和新技能上从低速、低力、小范围开始;
- 明确人工观察、授权和接管条件;
- 记录传感器、计划、动作与停止原因,便于复盘。
评测
评测不能只看“最终是否成功”,还应包含碰撞、超力、耗时、路径效率、对环境变化的恢复能力、重复试验稳定性和人工接管次数。仿真成绩不能直接视为真实部署能力。