语音 Agent是通过语音持续接收用户意图、调用能力并用语音或其他形式反馈结果的 Agent。它不仅是“把文字回答读出来”，还需要处理说话时机、流式输入输出、打断、重叠语音和环境声音。
语音扩展了 Agent 的观察与动作空间：观察可以包含音频、转写、说话人状态和工具事件；动作可以包含合成语音、停止播报、请求澄清或调用外部工具。
三种常见架构
| 架构 | 基本流程 | 优点 | 主要限制 |
|---|---|---|---|
| 级联式 | 语音活动检测 → 语音识别 → 文本模型 → 语音合成 | 组件独立，便于替换、调试和审计 | 多阶段会累积延迟，文本中间层可能丢失语气和非语言信息 |
| 端到端语音 | 模型直接接收音频并生成音频或跨模态结果 | 减少中间转换，可保留更多声音信息 | 评测、控制和问题定位更复杂 |
| 全双工语音 | 系统在输出时仍持续监听并能实时调整 | 更接近自然对话，可处理插话、附和与打断 | 并发状态、回声处理和安全控制要求更高 |
这些架构不是严格的替代关系。实际系统可以保留转写用于检索与审计，同时使用端到端音频能力改善实时交互。
实时交互闭环
语音 Agent 通常持续执行以下循环：
- 接收音频流并判断是否有人说话；
- 更新对当前话轮、说话人和任务意图的判断；
- 决定继续等待、快速回应、请求澄清或调用工具；
- 流式生成并播放语音；
- 在用户打断或外部结果到达时停止、修正或继续。
固定等待一个完整句子再开始处理，会增加延迟；过早判断话轮结束，又容易抢话。端点检测应结合停顿、语义是否完整、当前任务和对话习惯，而不只依赖静音时长。
打断与重叠语音
用户在 Agent 说话时可能补充信息、纠正内容或要求停止。系统应把“停止当前输出”和“理解新输入”分开处理：先及时停止不再合适的播报，再将新语音与当前任务状态关联。已经播放给用户的内容不能从历史中假装撤回，后续上下文需要准确记录实际播放进度。
工具调用与快慢响应
语音交互强调及时反馈，但复杂工具任务仍可能需要较长时间。可以把响应分为两层：
- 快速确认已经理解请求，并说明正在处理；
- 后台完成检索、计算或操作，验证后再给出最终结果。
这种方式需要与Agent 异步与事件驱动执行配合。快速确认只是交互反馈，不代表任务已经完成。
观察、评测与故障处理
除了答案正确性，还应评测：首个有效响应延迟、打断生效时间、话轮判断、转写或语义错误、工具调用成功率、音频播放状态和任务最终完成率。噪声、网络抖动、回声和多人同时说话都可能改变观察质量，系统应能请求重复、切换文字或交给人工处理。
安全与隐私
- 在录音、保存或分析语音前说明用途并取得必要同意；
- 对声纹、录音和转写采用最小保存与最小访问；
- 不能仅凭声音相似就完成身份验证或高风险授权；
- 支付、发布、删除等敏感动作应回读关键参数并获得明确确认；
- 合成语音应避免冒充真实人物，并让用户知道正在与 Agent 交互。