识别展品
相机视频流经 Jetson Orin 与 OpenCV 提取展品 ID。
← 返回项目
感知与交互 · 系统开发
博物馆里的四足导览员
将视觉识别、机器人移动和语音讲解连接起来，构建感知—决策—执行闭环。
技术示意图
Go2导航 + 语音讲解
Camera→OpenCV→DDS
- 时间
- 2025.02 — 2025.04
- 角色
- 研究人员
- 机构与地点
- 西交利物浦大学 · 苏州
指导教师 · Dr. Fanxin Wang、Dr. Qinglei Bu、Dr. Martijn ten Bhömer、Prof. Jie Sun
项目背景
面向博物馆导览场景，机器人需要识别展品并同步完成移动、姿态调整和讲解。项目基于 Unitree Go2，实现跨计算平台的感知与任务协调。
我的工作
- 使用机载相机获取视频流，传输至 Jetson Orin，通过 OpenCV 完成二维码检测与展品识别。
- 编程控制 RK3588 主控接收展品 ID，并通过 DDS 协调机器人移动、姿态调整和语音播放。
- 构建感知、决策与执行闭环，实现自主导航和展品讲解的同步执行。
技术方案
分发任务
RK3588 通过 DDS 协调各执行模块。
移动与讲解
同步执行导航、姿态调整与语音播放。
成果与验证
Go2四足机器人平台
DDS跨模块任务通信
- 完成基于真实 Go2 平台的博物馆智能导览系统集成。
- 将视觉识别结果连接到机器人移动与讲解行为。
相关资源
下一个项目