用手持夹爪记录机器人学习示范|UMI

让机器人学你的动作

Stanford、Columbia与TRI的RSS2024开放示教平台:GoPro+3D打印夹爪,在真实场景采集人类示范。含原版BOM、13个打印件清单、10章图解和独立搭建证据,采集器与机器人部署成本分开。

alan000

Robotics: Science and Systems 2024

参数信息

单只手持夹爪打印件
13 件

复现文档

选择一只手持采集器路线

先制作一只手持夹爪并安装 GoPro HERO9,用它记录手部示范视频和夹爪 IMU;采集数据不需要机械臂,策略验证和机器人部署另需兼容机械臂。

1. 确认目标为原版单手 UMI 采集器:一套手持夹爪、HERO9、对应软指和标记,不把双手采集器成本当作单套成本。

2. 下载并归档原仓库指定提交、硬件手册、原采集教程、三组 3MF 和 ArUco 标签 PDF;保持这些文件来自同一版本。

3. 按原版手册和 CAD 采购机械件。外部 CAD、Google Drive 文件及个别标签资源的许可需分别查看,不能以代码仓库的 MIT 许可替代。

**完成检查**:版本文件、打印件和采集相机均已按单手路线备齐;机器人部署作为独立后续阶段。

![UMI图解 teaser.png](https://cdn.lunlunapp.com/sbp/projects/58dac334-d368-41f3-b249-6e4203e8e83b/cover/7dce2772675f4b568c52ffab453dc0f0.png)![UMI图解 workflow.png](https://cdn.lunlunapp.com/sbp/projects/58dac334-d368-41f3-b249-6e4203e8e83b/cover/ee7595a8b2d74bf7a9404b6aea31b8bf.png)[原硬件手册](https://docs.google.com/document/d/1TPYwV9sNVPAi0ZlAupDMkXZ4CA1hsZx7YDMSmcEy6EU/edit) · [原采集教程](https://swanky-sphere-ad1.notion.site/UMI-Data-Collection-Tutorial-4db1a1f0f2aa4a2e84d9742720428b4c)

采购并清点十三个打印件

按 BOM 清点手持装置所需的 13 个打印件和紧固件,先把包装分摊数与实际装配数区分开。

1. 对照 BOM 核对三组打印文件:2 件外壳、9 件内部 PLA+ 件、2 件 TPU 软指,共 13 件。

2. 原表的 0.5 卷 PLA、0.25 卷 TPU、0.2 包弹簧、0.5 盒螺丝是耗材/包装分摊,不是购买小数件。按本路线清点 M3 螺丝:14 颗 8 mm、2 颗 12 mm、4 颗 25 mm、6 颗 35 mm。

3. 原 BOM 没列 M3 螺母净数量,也没有 M5 螺母购买链接;相机拇指螺丝需按套装核对。先标记这几项采购缺口,不用相似规格代替。

4. 需要两套 MGN9C 滑块时,按原装配路线确认滑块数量;不要把一套双滑块规格误当两套成品。

**完成检查**:13 个打印件、已列螺钉数量与导轨数量均可逐项核对;缺失螺母/相机螺钉确认后再进入安装。

![UMI图解 print.png](https://cdn.lunlunapp.com/sbp/projects/58dac334-d368-41f3-b249-6e4203e8e83b/cover/14938c13ba034a8b8a64b92d90258374.png)![fasteners.png](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/58dac334-d368-41f3-b249-6e4203e8e83b/files/image/7760f1a4f19a4e3d8e862cec619f3fb4.png)[原硬件手册](https://docs.google.com/document/d/1TPYwV9sNVPAi0ZlAupDMkXZ4CA1hsZx7YDMSmcEy6EU/edit) · [原采集教程](https://swanky-sphere-ad1.notion.site/UMI-Data-Collection-Tutorial-4db1a1f0f2aa4a2e84d9742720428b4c) · [原作者装配视频对应章节YouTube](https://www.youtube.com/watch?v=x3ko0v_xwpg&t=8s)

打印外壳、内部结构和柔性夹指

按原切片参数打印刚性框架件与 TPU 软指;材料、方向和支撑分开处理。

1. PLA+ 刚性件按原示例起点设置:0.6 mm 喷嘴、0.3 mm 层高、1.2 mm 壁/顶底、20% Gyroid、190 °C、风扇 100%。

2. grip 件按原示例用 100% 填充、1.8 mm 壁;左右连杆用 2.4 mm 壁、1.8 mm 顶底;指座按模型需要启用支撑。

3. TPU 95A 软指示例为 0.6 mm 喷嘴、0.3 mm 层高、100% lines、255 °C、风扇 0%。按实际打印机/耗材允许范围验证温度、干燥和首层,不把单一设备参数视为通用值。

4. 打印后按左右件标记分组,清理孔和接触面;软指用 TPU,不用 PLA 替代。

**完成检查**:刚性件孔位可装配、接触面无支撑残渣,左右软指完整且无裂纹;试片失败先调整切片,不强压组装。

![UMI图解 print.png](https://cdn.lunlunapp.com/sbp/projects/58dac334-d368-41f3-b249-6e4203e8e83b/cover/14938c13ba034a8b8a64b92d90258374.png)[原硬件手册](https://docs.google.com/document/d/1TPYwV9sNVPAi0ZlAupDMkXZ4CA1hsZx7YDMSmcEy6EU/edit) · [原采集教程](https://swanky-sphere-ad1.notion.site/UMI-Data-Collection-Tutorial-4db1a1f0f2aa4a2e84d9742720428b4c)

装配导轨、底板、握柄和指座

依次将直线导轨、底板、握柄和指座装到打印件上,边装边核对滑动方向。

1. 0:30 章节处理双滑块导轨;操作时把滑块留在导轨上,避免滑块脱轨造成滚珠散落。

2. 1:33 安装导轨与底板;按同版本 CAD 对应孔位选螺丝,先松装并检查导轨平行、滑动顺畅,再逐步固定。

3. 2:47 安装握柄,确认握持面方向和螺钉没有顶入运动区。

4. 5:39 安装指座,确认夹爪行程方向与导轨滑动方向一致。

**完成检查**:导轨滑块可全行程平顺移动,底板无翘曲;原文字 BOM 未给每个孔位的螺丝映射,规格无法由文字确定时停下查对应 CAD,不猜螺丝长度。

![UMI图解 fasteners.png](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/58dac334-d368-41f3-b249-6e4203e8e83b/files/image/7760f1a4f19a4e3d8e862cec619f3fb4.png)![mechanism.png](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/58dac334-d368-41f3-b249-6e4203e8e83b/files/image/8b7c1bb3ef894176a9f18d269e2f6751.png)[原硬件手册](https://docs.google.com/document/d/1TPYwV9sNVPAi0ZlAupDMkXZ4CA1hsZx7YDMSmcEy6EU/edit) · [原采集教程](https://swanky-sphere-ad1.notion.site/UMI-Data-Collection-Tutorial-4db1a1f0f2aa4a2e84d9742720428b4c) · [原作者装配视频对应章节YouTube](https://www.youtube.com/watch?v=x3ko0v_xwpg&t=30s)

装配左右齿轮连杆和回位机构

安装两侧齿轮连杆、弹簧和配重件,让夹爪同步闭合并能自行复位。

1. 8:31 章节安装左右齿轮和连杆;按左右标记装配,先松装并检查两指同步运动。

2. 9:27 章节在手柄指定滑动面薄涂润滑剂,远离标签、镜片和软指粘贴区域。

3. 11:08 安装把手和压缩弹簧,确认弹簧两端落在定位处、不脱槽。

4. 11:37 合上顶盖;13:58 安装配重 cube。轻压并松开握柄,观察连杆回位。

**完成检查**:左右指同步、行程顺畅、松手回位且弹簧留在槽内;若卡滞,先查左右件方向和螺丝是否过紧,不用拧紧来补偿打印误差。

![UMI图解 mechanism.png](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/58dac334-d368-41f3-b249-6e4203e8e83b/files/image/8b7c1bb3ef894176a9f18d269e2f6751.png)[原硬件手册](https://docs.google.com/document/d/1TPYwV9sNVPAi0ZlAupDMkXZ4CA1hsZx7YDMSmcEy6EU/edit) · [原采集教程](https://swanky-sphere-ad1.notion.site/UMI-Data-Collection-Tutorial-4db1a1f0f2aa4a2e84d9742720428b4c) · [原作者装配视频对应章节YouTube](https://www.youtube.com/watch?v=x3ko0v_xwpg&t=511s)

安装软指、防滑层、标记与相机

装上软指和相机后,依模板贴防滑面与追踪标记,确保拍摄时标记完整可见。

1. 15:04 章节按原位置贴 3M 防滑胶带,避开会遮住标签或妨碍夹爪闭合的区域。

2. 16:55 安装两只 TPU 软指,核对左右方向并确认固定牢靠。

3. 21:45 按原左右标签 PDF 和手册照片方向贴指座追踪标记;cube 标签作者注明算法目前未使用,可选。

4. 25:42 按原模板裁切镜片;29:07 安装 GoPro HERO9,固定相机拇指螺丝并确认相机不晃动。

**完成检查**:左右指、镜片和相机均稳固;夹爪开合不会剐蹭标签,拍摄视野能看到指座标记。

![UMI图解 fasteners.png](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/58dac334-d368-41f3-b249-6e4203e8e83b/files/image/7760f1a4f19a4e3d8e862cec619f3fb4.png)![camera.png](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/58dac334-d368-41f3-b249-6e4203e8e83b/files/image/77a43e6c502e4db8a7e407f14a05ec4d.png)[原硬件手册](https://docs.google.com/document/d/1TPYwV9sNVPAi0ZlAupDMkXZ4CA1hsZx7YDMSmcEy6EU/edit) · [原采集教程](https://swanky-sphere-ad1.notion.site/UMI-Data-Collection-Tutorial-4db1a1f0f2aa4a2e84d9742720428b4c) · [原作者装配视频对应章节YouTube](https://www.youtube.com/watch?v=x3ko0v_xwpg&t=904s)

设置 GoPro 并录制建图和开合标定

先用建图视频和五次完整开合标定检查视野、标签尺寸与时间码,再开始任务录制。

1. 按原采集教程安装适用于 HERO9 的 Labs 固件,并扫描该采集教程对应的设置二维码;不要使用机器人端 HDMI 配置二维码。

2. 开启官方动态时间码设置,在有纹理的工作区录制建图视频,避开大面积白墙等缺少视觉特征的区域。

3. 将台面 ArUco 标签按 100% 比例打印,用尺确认标记尺寸为 16 mm;尺寸不符时重打,避免地图比例错误。

4. 每个采集地点单独建立 session;完成建图后,另录一段夹爪完整开合 5 次的视频,确认标签清晰且不被手遮挡。

**完成检查**:建图片段里能看到环境纹理、动态时间码和台面标签;独立标定片段包含 5 次完整开合。

![UMI图解 camera.png](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/58dac334-d368-41f3-b249-6e4203e8e83b/files/image/77a43e6c502e4db8a7e407f14a05ec4d.png)![session.png](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/58dac334-d368-41f3-b249-6e4203e8e83b/files/image/f0e389fe175e4e76ac4daf42fbbe424b.png)[原硬件手册](https://docs.google.com/document/d/1TPYwV9sNVPAi0ZlAupDMkXZ4CA1hsZx7YDMSmcEy6EU/edit) · [原采集教程](https://swanky-sphere-ad1.notion.site/UMI-Data-Collection-Tutorial-4db1a1f0f2aa4a2e84d9742720428b4c)

采集任务示范并保存原始数据

在固定任务和环境中采集多段示范,保留原视频和 IMU 数据以便后续同步处理。

1. 按原教程设置一个任务目标并保持物体、桌面和相机视角稳定;确保任务物体在动作前后都出现在画面中。

2. 原作者建议的示范量约 200 段,实际数量随任务难度而变;先通过短段试录检查画面与标记,再扩大采集规模。

3. 记录成功、失败和异常动作,不只保留顺利片段;每段注明 session、任务条件和操作者。

4. 保存相机 MP4 原文件及嵌入的 IMU 数据,不剪辑或转码作为分析输入;若采集双手数据,再核对两侧身份和时间同步。

**完成检查**:视频与 IMU 文件按 session 归档,任务条件和异常记录可追溯,时间信息未因剪辑丢失。

![UMI图解 session.png](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/58dac334-d368-41f3-b249-6e4203e8e83b/files/image/f0e389fe175e4e76ac4daf42fbbe424b.png)![UMI图解 workflow.png](https://cdn.lunlunapp.com/sbp/projects/58dac334-d368-41f3-b249-6e4203e8e83b/cover/ee7595a8b2d74bf7a9404b6aea31b8bf.png)[原硬件手册](https://docs.google.com/document/d/1TPYwV9sNVPAi0ZlAupDMkXZ4CA1hsZx7YDMSmcEy6EU/edit) · [原采集教程](https://swanky-sphere-ad1.notion.site/UMI-Data-Collection-Tutorial-4db1a1f0f2aa4a2e84d9742720428b4c)

运行 SLAM 示例并检查数据质量

先用仓库示例数据运行 SLAM 流程,检查环境与输出目录后再处理自己的采集数据。

1. 按仓库 README 使用 Ubuntu 22.04 和项目锁定环境;确认依赖与模型/权重路径对应当前仓库提交。

2. 运行示例脚本 run_slam_pipeline.py,检查是否生成地图、位姿轨迹及 ArUco/标定结果;查看被丢弃示范及原因。

3. 检查 ORB-SLAM3 输出中有无追踪中断,标记失去位姿的片段,逐段核对剔除原因。

4. 单独运行自己的 session,确认视频时间码、地图和轨迹输出可读;通过后再用 07_generate_replay_buffer.py 生成 dataset.zarr.zip。

5. 记录有效示范数量、剔除数量及原因;遇到环境或追踪错误时先暂停训练并修复数据/依赖。

**完成检查**:示例与自有 session 均能产生预期地图、轨迹和回放数据文件,且每个有效/剔除样本有记录。

![pipeline.png](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/58dac334-d368-41f3-b249-6e4203e8e83b/files/image/575a4e87f6f249ad980d3b678607c1ce.png)[原硬件手册](https://docs.google.com/document/d/1TPYwV9sNVPAi0ZlAupDMkXZ4CA1hsZx7YDMSmcEy6EU/edit) · [原采集教程](https://swanky-sphere-ad1.notion.site/UMI-Data-Collection-Tutorial-4db1a1f0f2aa4a2e84d9742720428b4c)

训练策略并核对机器人部署前提

训练策略时按数据集路径和原配置运行;只有准备好兼容机械臂、夹爪与相机链路后才进入机器人部署阶段。

1. 训练环境按原记录使用单张 RTX 3090 24 GB 作测试配置;在配置文件中将 task.dataset_path 指向自己的 dataset.zarr.zip,并分别保存训练集、验证集和场景条件。

2. 记录仓库提交、依赖环境、训练配置与实际 checkpoint 文件名;原教程给出的下载文件名与 eval 示例路径不一致,使用实际下载文件名并先确认文件存在。

3. 手持采集器约 US$371 为历史估算,不包含训练工作站和机器人。部署另需 UR5/UR5e、WSG50、转接件、软指、相对姿态一致的相机、MediaMod、HD60X、HDMI/USB 与局域网。

4. 按原文列出的每臂相机链历史约 US$546.58、WSG50 约 €3875,UR 机械臂按报价;这些均非当前报价,也不计入手持设备成本。

5. 机器人部署前先确认机械安装、相机外参与控制链路;首次动作采用低速、人工保持急停可用的受控测试,再运行策略。

**完成检查**:数据路径、验证集和 checkpoint 文件均可定位;若缺少机器人端硬件或其配置未验证,停在训练/离线评估,不启动策略控制。

![UMI图解 pipeline.png](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/58dac334-d368-41f3-b249-6e4203e8e83b/files/image/575a4e87f6f249ad980d3b678607c1ce.png)![franka.png](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/58dac334-d368-41f3-b249-6e4203e8e83b/files/image/325eba93f22743ef8964b122e362bb39.png)![deployment.png](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/58dac334-d368-41f3-b249-6e4203e8e83b/files/image/4f24c06951bc4f0ca6aebdf5760501cd.png)[原硬件手册](https://docs.google.com/document/d/1TPYwV9sNVPAi0ZlAupDMkXZ4CA1hsZx7YDMSmcEy6EU/edit) · [原采集教程](https://swanky-sphere-ad1.notion.site/UMI-Data-Collection-Tutorial-4db1a1f0f2aa4a2e84d9742720428b4c)

相关科技单元