Computer Use Agent是通过截图、界面结构或其他视觉观察理解计算机状态，并使用鼠标、键盘等动作操作图形界面的 Agent。它让 Agent 能处理没有稳定 API、跨多个桌面应用，或必须通过视觉界面验证的任务。
Computer Use 是一种环境交互方式，不等于模型本身。当可靠 API、命令行或结构化工具能够完成任务时，通常应优先使用它们；GUI 操作更通用，但速度更慢，也更容易受到布局和视觉变化影响。
观察与动作闭环
典型流程是：
- 获取当前截图、窗口、焦点和可访问性信息；
- 找到与任务目标有关的控件或内容；
- 选择点击、输入、滚动、拖拽、按键或等待等动作；
- 执行动作后重新观察；
- 根据新界面验证动作是否生效，再继续或修正。
关键点是“动作后重新观察”。点击坐标或输入文字只说明动作被发出，不说明页面已经加载、表单已经提交或数据已经保存。
动作空间
常见动作包括：
- 单击、双击、右键和悬停；
- 键盘输入、快捷键和组合键；
- 滚动、拖拽与窗口切换；
- 等待动画、上传、下载或页面加载；
- 请求用户确认、接管或处理验证码。
动作可以基于绝对坐标，也可以引用可访问性树或语义控件。坐标方式通用，但对分辨率、缩放、滚动位置和窗口移动敏感；语义定位更稳定，但并非所有界面都提供完整结构。实际 Harness 常组合使用多种观察。
GUI Grounding
GUI Grounding 是把“点击保存按钮”这样的语义意图映射到当前屏幕中的具体位置或控件。常见困难包括相似图标、遮挡、小目标、弹窗、页面滚动、动态布局和本地化文本。
在执行前应确认观察仍然新鲜，必要时再次截图；在高风险动作前，还要核对目标对象、关键参数和按钮含义，不能只凭大致位置点击。
连续变化与异步事件
界面可能正在播放动画、加载数据或接收通知。只看离散截图会错过中间状态，因此 Agent 需要在必要时等待、连续观察，或接收下载完成、窗口变化等事件。长流程还应保存当前应用、任务阶段和完成证据，以便中断后恢复。
验证完成
完成条件应对应真实界面或外部状态，例如：
- 出现明确的成功提示或目标记录；
- 文件确实生成且内容可读取；
- 页面刷新后修改仍然存在；
- 目标应用显示正确结果；
- 业务系统返回可验证的状态。
如果只能看到“按钮已点击”，任务仍未完成。
安全边界
- 将网页、邮件、文档和界面文字视为不可信内容，防止提示注入；
- 限制可访问的应用、域名、文件和账号；
- 不在截图、日志或模型上下文中暴露无关凭据与隐私数据；
- 对发送消息、支付、发布、删除和权限变更等动作要求明确确认；
- 遇到验证码、身份验证或不确定的系统弹窗时请求人工接管；
- 保存动作与观察轨迹，使关键操作可以审计。
常见限制
- 视觉定位受分辨率、主题、缩放和本地化影响；
- 界面变化会使旧截图和已记住的坐标失效；
- 多步操作延迟高，单个错误可能在后续被放大；
- 只根据视觉外观不一定能判断底层业务状态；
- 开放环境中的任务、应用和安全边界难以完整覆盖。
因此，Computer Use Agent 更需要受限动作空间、逐步验证和人工确认，而不是无条件追求全自动化。