AI Chat 开发文档
AI Chat 是探鸽平台面向 IoT 设备提供的实时 AI 对讲能力。设备通过 TiRTC 建立低延迟连接后，可以把麦克风音频和摄像头视频上行到探鸽平台；平台完成语音识别、视觉理解、智能体推理和语音合成，再把回复音频、字幕和事件通过同一条连接下发给设备。
你可以完成什么
- 让 AI 玩具、陪伴设备、智能音箱等设备接入实时语音对话。
- 让摄像头、门铃、机器人等设备具备实时对讲和智能回复能力。
- 让设备通过命令通道与云端智能体协作，例如按键打断、执行设备动作并回传结果。
接入路径
如果你是第一次接入，建议按下面顺序阅读：
- 总体流程：了解设备端、业务服务端和探鸽平台之间的完整交互链路。
- AI 对讲控制台：创建角色、配置知识库和插件，并获取
role_id。 - 接入 Coze 智能体：把 Coze 智能体配置成探鸽角色，并通过 TiRTC 完成实时语音对话。
- 服务端集成：申请
peer_id与token，并安全下发给设备。 - 设备端集成：建连、启动会话、收发音频、接入视频对讲和处理事件。
- 事件协议：实现
start_session、字幕、打断、设备能力调用和结束会话等命令通道协议。
角色分工
| 角色 | 负责内容 |
|---|---|
| 业务服务端 | 获取 role_id，申请 peer_id 与 token，并安全下发给设备。 |
| 设备端 | 使用 peer_id 与 token 建立 TiRTC 连接，启动会话，发送音视频并接收回复音频和事件。 |
| 探鸽平台 | 校验连接凭证，加载设备与角色配置，完成 ASR、视觉理解、LLM、TTS 和事件分发。 |
接入前准备
- 已创建探鸽平台应用，并获取服务端调用所需的
AppId、AccessKeyId、SecretKeyId。 - 已完成设备注册、设备与应用或产品的绑定。
- 已开通 AI 对讲相关服务能力。
- 已在探鸽开放平台创建并配置智能体。
- 设备端已集成 TiRTC SDK，并能够建立连接、发送音频帧和收发命令。视频对讲还要求设备能够输出 H.264 或 H.265 编码帧。