
数据采集套件
空间智能算力套件
数据采集套件是一套面向机器人基座模型和具身智能训练数据生产的 EGO + UMI 可穿戴多视角采集系统。系统通过头部第一视角与双手近场视角同步采集,将自然人类操作转化为可用于标注、重建和策略训练的高质量机器人学习数据。佩戴者无需改变自然操作习惯,即可完成取放、装配、清洁、整理、检视等真实任务采集;系统同步记录 RGB-D、IMU、VIO 位姿、头部运动轨迹、双手近场操作细节与任务元数据,为后续数据筛选、轨迹优化、场景重建和模型训练提供统一基础。
系统组成
| 模组 | 推荐配置 | 功能说明 |
|---|---|---|
| 头部相机 | 1 x Insight 9 | 采集全局第一人称场景、头部运动位姿、环境深度与空间结构 |
| 手部相机 | 2 x Insight 3 | 覆盖左右手近场操作区域,弥补头部视角存在的手部遮挡、画面出界、细节缺失问题 |
| 背包单元 |
| 背包单元约 1.8kg,集成边缘计算、本地存储与移动供电。Jetson Orin NX 负责运行采集程序、记录多路时间戳,并保存 ROS 2 bag、RGB-D、IMU、VIO 位姿、标定参数与任务元数据;本地存储可根据采集时长和数据量需求升级;电池可支持 150–170 分钟真实场景连续采集。 |
| 软件环境 | Ubuntu + ROS2 数据采集程序 | 统一管理设备连接、录制控制、采集状态、数据目录组织、片段管理与后处理流程。 |
后处理软件
| 功能模块 | 功能描述 |
|---|---|
| 多相机坐标统一对齐 | 自动将头部相机、左右手相机的多视角数据统一至同一空间参考坐标系,消除各相机独立位姿估计带来的数据不一致问题,保障联合标注、场景重建、策略训练的空间一致性。 |
| 录制与片段剪辑 | 支持 RGB、深度、IMU、VIO 位姿多路数据流一体化录制与分段管理;可快速剔除因画面丢帧、遮挡、动作不连贯产生的低质量片段,从源头提升数据集可用性,降低人工筛选成本。 |
| 轨迹质量评分 | 依托 Insight 相机板载 VSLAM 位姿输出,自动评估运动平滑度、轨迹连续性、画面完整度;提供客观的数据准入质量标准,高效筛选不合格样本。 |
| 轨迹优化校正 | 利用相机输出的高精度位姿数据,对抖动、漂移、低分轨迹自动完成平滑、位姿修正与时序对齐。优化后数据可直接供给下游模型训练,减少人工后处理工作量,加快模型迭代速度。 |
产品亮点
EGO + UMI 多视角采集
头部视角记录任务环境,手部视角保留精细操作细节,提升第一视角操作数据的完整性与实用价值。
端上VSLAM直出
RGB、深度、IMU 与 VIO 位姿共同记录,采集结果不仅包含视频画面,也包含可用于轨迹解算、空间对齐和行为标注的真实尺度空间信息。
开放数据接口
原始数据可无缝接入手部检测、目标检测、位姿估计、RGB-D 重建、动作分割、机器人学习数据转换等流水线。
可规模化部署
头环、手环、Jetson、可升级 NVMe 存储与 V-Mount 电池背包形成标准化套件,支持约 150–170 分钟连续采集,便于多套复制、人员培训和采集流程标准化。