把接触形变变成图像的机械手指|GelSlim 4.0

看见指尖的触觉

GelSlim 4.0使用三色照明、相机与柔软胶垫,将接触形变转为图像。本教程制作WSG50版单指传感器,完成结构装配、胶垫制作、照明焊接与桌面成像,观察轻触和卸载时的变化。

alan000

arXiv(预印本) 2024

参数信息

三色LED数量
6×3 颗

复现文档

01|备齐WSG50单指版本的文件与采购项

先锁定4.0 WSG50单指配置,并把材料、工具和配套设备分开列入采购表。

1. 打开[原BOM](https://docs.google.com/spreadsheets/d/1LvoSZAjfaGMRUC3wUko6qwsdmanVDKur6xZltkolHr8/edit),逐行抄录数量栏中的实际用量、包装量和设备/共享工具,数量按一只传感器折算。

2. 从[固定硬件版本](https://github.com/MMintLab/gelslim_hardware/tree/9bd5fccfa1f4c1978786b694358858899d73066d)下载WSG50单件主体STL、后盖STL、模具外环/模板STL及底板DXF;该硬件仓库也提供单件零件和总成CAD。

3. 采购前逐项确认BOM所列蓝/绿LED完整订货号、2000目砂纸规格与链接、适配注射器的容量/接口。另列相机主机、USB数据线、驱动板供电和WSG50夹爪适配/螺钉;这些配套项没有在核心BOM中闭合。

4. 先在源仓库查看WSG50主体预览和装配关系:[WSG50主体组合CAD预览](https://github.com/MMintLab/gelslim_hardware/blob/9bd5fccfa1f4c1978786b694358858899d73066d/images/wsg50_gripper_sensor_body_combined.PNG)(模型渲染,不是实拍)。

作者给出的约US$65/指是历史按用量分摊值;整包材料、加工设备、相机主机、供电与运输另计。

**完成检查**:固定版本、主体形式、主机/供电和每个BOM缺项均有明确型号或可执行采购项。

[作者项目页(含设计文件入口)](https://www.andreasipos.xyz/projects/gelslim-4-0/)

02|打印传感器主体并制备浇注模具

打印承载相机和照明的WSG50传感器主体,并制备后续浇注胶垫的模具。

1. 固定版仓库的3D打印文件中选择WSG50“Single-Part Sensor Body”STL与Back Cover STL;主体切片参数按BOM所列0.1 mm层高、100%填充。按STL原方向切片,预览确认主体腔体与排线出口未被支撑堵塞。

2. 打印Gel Pad Template和Outer Ring STL;用Hex Acrylic Base DXF切割1/4英寸亚克力底板。移除残屑,把模板/外环装在底板上;用水平尺检查底板两个方向都水平,浇注面无缝隙和颗粒。

3. 在主体标注的M2孔中压入M2热熔嵌件,保持烙铁轴线与孔垂直,压到嵌件口与主体表面齐平即停止;冷却后手动旋入M2螺钉检查咬合,不用螺钉拉正歪斜嵌件。

**原仓库视觉参考:**[M2热熔嵌件CAD示意](https://github.com/MMintLab/gelslim_hardware/blob/9bd5fccfa1f4c1978786b694358858899d73066d/images/94180A307_heatset_mockup.PNG)(模型渲染);[亚克力模具底板CAD预览](https://github.com/MMintLab/gelslim_hardware/blob/9bd5fccfa1f4c1978786b694358858899d73066d/images/hex_acrylic_base.PNG)。

**完成检查**:主体腔体和出口无遮挡;后盖能按CAD位置合拢;模具底板水平、接缝紧密,嵌件口齐平且螺钉可手动旋入。

[固定版3D打印、模具和激光切割文件](https://github.com/MMintLab/gelslim_hardware/tree/9bd5fccfa1f4c1978786b694358858899d73066d)

03|试配平面镜片并抛光加工边缘

从固定版Lens Plate图纸确定镜片开口并试配;仅处理图纸指定的边缘或曲面。

1. 先从固定版 Lens Plate CAD 读取开口尺寸,制作试片并记录配合;按实物试配和激光切缝修正尺寸后再切正式镜片。

2. 加工前保留平面观察面的保护膜。只对图纸标出的边缘/曲面加工,保护光学观察面不被砂磨。

3. 抛光所需的加工面和砂纸序列尚待确认,取得对应工艺后再加工。每次换目数清洁工件和工作面,避免粗粒带入精抛。BOM中精细砂纸链接规格不符,未核实前不要采购。

**CAD结构参考:**[Lens Plate](https://github.com/MMintLab/gelslim_hardware/blob/9bd5fccfa1f4c1978786b694358858899d73066d/images/lens_plate.PNG)。原作者镜片加工终点照片不可用。

**完成检查**:试片按图纸配合镜片座且无明显晃动;观察面无划伤,边缘无崩裂。

[固定版镜片座CAD](https://github.com/MMintLab/gelslim_hardware/tree/9bd5fccfa1f4c1978786b694358858899d73066d)

取得硅胶工艺单并准备浇注

在模具中浇注柔性硅胶接触层;先取得适用于手中材料批次和设备的工艺参数。

1. **配料前置条件**:取得所用硅胶的批次说明和 SDS,确认组分、质量配比、适用期、固化温度与时长。本页尚缺经核实的4.0胶垫工艺单,先停在材料核对阶段。

2. 模具CAD展示目标胶层结构参考;按固定版模具尺寸检查目标厚度。BOM注射器适配器容量仍未确认,须先核对设备接口/容量和针筒装料空间。

3. 若工艺要求离心脱泡,先从设备说明确认兼容针筒/适配器、配重和平衡方式,并从设备及材料资料确定转速、时长;缺任何一项不得启动。若批次工艺采用其他脱泡方式,按该说明执行。

4. 清洁模具、调平底板,从一侧缓慢注入并观察边缘有无漏液;依材料说明脱泡。达到该批次规定的固化条件后再脱模。

**CAD结构参考:**[胶垫](https://github.com/MMintLab/gelslim_hardware/blob/9bd5fccfa1f4c1978786b694358858899d73066d/images/gel_pad_3mm_mockup.PNG) · [模板](https://github.com/MMintLab/gelslim_hardware/blob/9bd5fccfa1f4c1978786b694358858899d73066d/images/gel_pad_template.PNG)。浇注近照缺失。

**完成检查**:按批次规定完全固化、完整脱模,厚度与CAD/模板要求相符,接触面无贯穿气泡和破损。

[原BOM设备项](https://docs.google.com/spreadsheets/d=)

确认涂层工艺,再制作反射层与标记

按4.0适配的材料工艺,在胶垫上制作反射层、可选跟踪点和遮光层。

1. **涂布前置条件**:取得适用于4.0胶垫的涂料型号、混合比例、层序和固化工艺,以及材料 SDS。本页尚缺这份工艺单,先不配料或涂布。

2. 确认涂层系统与硅胶批次兼容后,按原工艺规定的表面和顺序施作反射层、标记层和遮光层;各层间是否需固化、固化条件以材料说明为准。

3. 若需要剪切/光流跟踪,须取得4.0原始图纸/教程规定的标记直径、间距和图案;这些规格确认后再制作点阵。点阵会遮挡部分颜色梯度,深度优先方案可依据具体算法需求决定是否采用。

4. 遵照SDS规定通风、防护和废弃处理,只使用厂家指定的固化设备,不使用食品烤箱。

![论文图1:带标记与无标记胶垫接触图像对照。](https://arxiv.org/html/2409.19770v1/figures/block_m_teaser.png)**图片来源**:Fig. 1,Sipos、van den Bogert、Fazeli,arXiv:2409.19770v1,CC BY 4.0。

**完成检查**:涂层按已核实工艺制成且附着完整;若有点阵,按原始尺寸规格记录并确认成像可辨。

[MMint Lab 4.0项目页](https://www.mmintlab.com/research/gelslim-4-0/)

06|把无涂层面粘到镜片并静置固化

将透明镜片粘到胶垫无涂层面,并按4.0装配资料确定对位和固化。

1. 辨认胶垫涂层面与裸胶面:镜片粘在裸胶面;最终相机从镜片一侧观察胶垫,接触面朝外。用不会损伤胶面的方式清洁镜片粘接面和裸胶面。

2. 透明粘合剂的准确型号、用量和兼容性在可访问原作者说明中无法核实。先确认厂家允许其与该硅胶和镜片粘接,再薄涂并居中贴合;从中心向外轻压排气泡,不拉伸胶垫、不擦碰涂层。

3. 按所选粘合剂的批次说明确定固定方式、温度和完全固化时间;达到规定固化状态后再装配。

4. 标记与绿光阵列的具体角度/方位需从4.0原装配图确认,未确认前不以猜测方向粘接;先干式标出方向再上胶。

**CAD结构参考:**[胶垫](https://github.com/MMintLab/gelslim_hardware/blob/9bd5fccfa1f4c1978786b694358858899d73066d/images/gel_pad_3mm_mockup.PNG)。粘接过程和实物终点图缺失。

**完成检查**:胶垫无拉伸和明显皱褶,镜片侧无大气泡,边缘粘接连续,材料达到厂家规定的完全固化状态。

07|焊接驱动板和三条LED软板

先完成LED驱动板,再逐条制作红、绿、蓝软板;未确认LED极性前不上电。

1. 按固定版PCB及其元件位号,驱动板装0 Ω电阻1只、45.3 Ω电阻2只、60.4 Ω电阻1只、FPC连接器3个和Micro-USB连接器1个。贴片前对照Gerber/PCB图核封装和方向,避免仅凭板上外形猜器件。

2. 每色软板各装6颗对应LED:红、绿、蓝共18颗。按每个实物的完整订货号找到数据表;BOM中的蓝绿料号后缀需采购前核实。

3. 作者原文字和图注对LED倒角极性不一致,因此每颗/每批先用数据表标示的阳极、阴极焊盘方向,再以万用表二极管档核对;结论记在对应料号旁。未核出方向时暂停焊接。

4. 按所用焊膏和器件要求设定回流曲线;冷却后放大检查短路、偏件和虚焊。先断开相机与传感器连接,用限流电源逐色测试,再接入整机。

![中文电路装配图:驱动板电阻和FPC/Micro-USB接口、三色软板与LED逐颗核极性。](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/8c5c104b-efb2-44fc-86b5-05cd685f51df/files/image/98ee4768aacb4257b0d45622ebde9dcd.png)**原仓库预览(CAD/PCB渲染):**[驱动板](https://github.com/MMintLab/gelslim_hardware/blob/9bd5fccfa1f4c1978786b694358858899d73066d/images/led_driver.png) · [LED软板总成](https://github.com/MMintLab/gelslim_hardware/blob/9bd5fccfa1f4c1978786b694358858899d73066d/images/led_harnesses_mockup.PNG)。

**完成检查**:电阻和接口位置对应固定版PCB;每个LED型号/极性有记录,板上无可见桥连,各色软板在限流测试中分别点亮。

[固定版PCB、软板和Gerber](https://github.com/MMintLab/gelslim_hardware/tree/9bd5fccfa1f4c1978786b694358858899d73066d/pcb_files) · [原BOM及LED料号](https://docs.google.com/spreadsheets/d/1LvoSZAjfaGMRUC3wUko6qwsdmanVDKur6xZltkolHr8/edit)

08|按定位槽装入照明、镜片和相机

从主体内侧开始叠装电路和相机,再封上镜片/胶垫观察端与后盖;顺序和方向参照编号分解图。

1. 先放驱动板和相机支承件。将红、绿、蓝三条软板分别沿主体内壁的三个定位槽插入,发光面朝向中央镜片;绿光阵列的内曲面向内,对准胶垫标记所在区域。

2. 每个FPC座先抬开白色锁扣,再把软排线金手指端沿插槽平直推到底,保持排线边缘平行;压回锁扣固定。插不到底时取出核对正反面和锁扣是否完全打开,不靠蛮力。

3. 把已粘接固化的镜片/胶垫组件装到主体前端,胶垫接触面朝外、镜片朝内对准相机;相机镜头居中看向胶垫。相机排线通过CAD标出的出口引出,弯曲半径平缓。

4. 确认三色软板与镜片不干涉、相机排线不跨过结合面;先空合后盖检查缝隙,再用M2螺钉固定。装配文件中的部件顺序和相对位置见下图。

![GelSlim 4.0 WSG50分解装配图,显示相机、LED、镜片胶垫、主体与后盖的相对顺序。](https://arxiv.org/html/2409.19770v1/figures/wsg_exploded_assembly.png)**图片来源**:Fig. 2,Sipos、van den Bogert、Fazeli,arXiv:2409.19770v1,CC BY 4.0。

**完成检查**:FPC锁扣闭合、软板插到底;胶垫面朝外且位于相机视场;排线从指定出口引出,后盖平贴且未夹线。

[固定版WSG50总成CAD](https://github.com/MMintLab/gelslim_hardware/tree/9bd5fccfa1f4c1978786b694358858899d73066d/assemblies) · [作者装配说明(目前正在重建)](https://www.andreasipos.xyz/projects/gelslim-4-0/gripper-mounted-manufacturing-instructions/g-sensor-assembly)

09 09|保存单指图像,再按仓库说明配置算法

先保存稳定的空载/接触图像;深度网络和剪切光流是两条独立的软件路线。

1. 相机采集软件和曝光/白平衡的具体界面或命令,在当前可访问的作者资料中没有给出。使用与相机型号匹配的采集程序,先固定曝光与白平衡,再保存空载RGB帧、轻触帧和设置记录。

2. 深度路线:在PyTorch环境按[depth README](https://github.com/MMintLab/gelslim_depth)安装依赖。克隆仓库后在仓库根目录执行:

```

pip install -r requirements.txt

pip install -e .

```

官方配套`.pt`数据含`6 × 320 × 427`触觉图像(左右两指各RGB三通道)和两通道深度图;需双指输入与对应数据/权重格式,单指采集帧不能直接替代该预训练数据。查看官方测试样本的命令为:

```

python scripts/data_scripts/view_pt.py test_data pattern_31_rod_test.pt

```

3. 需要把自有`.pt`数据拆分为训练/验证/测试集时,README命令为`python scripts/data_scripts/split_data.py <device>`(例如`cuda:0`);该脚本默认删除输入的原始`.pt`大文件。先备份到其他目录并读脚本确认`DATA_PATH`指向备份副本,再运行;只是查看图像时不要执行拆分。

4. 剪切路线:按[shear README](https://github.com/MMintLab/gelslim_shear)安装PyTorch后,克隆仓库,在其根目录执行:

```

pip install -r requirements.txt

pip install -e .

```

README输入为值域0–255的RGB张量`3 × H × W`(示例320 × 427)。先用空载RGB张量设定基线,再把当前帧和采集时间交给生成器。下面沿用README方法2示例,输出`u`、`v`两个分量组成的`2 × 13 × 18`像素位移场:

```

from gelslim_shear.shear_utils.shear_from_gelslim import ShearGenerator

shgen = ShearGenerator(method='2', channels=['u', 'v'],

Farneback_params=(0.5, 3, 45, 3, 5, 1.2, 0))

shgen.update_base_tactile_image(base_tactile_image)

shgen.update_time(t)

shgen.update_tactile_image(tactile_image)

shgen.update_shear()

field = shgen.get_shear_field()

```

`base_tactile_image`和`tactile_image`须是同一传感器的RGB张量,`t`由你的采集程序提供;输出是图像光流,不是毫米位移或力。

![论文图3:物体实拍、GelSlim触觉RGB差图和网络估计深度图按行对照。](https://arxiv.org/html/2409.19770v1/figures/annotated_depth_reconstruction.png)**图示来源**:Fig. 3,Sipos、van den Bogert、Fazeli,arXiv:2409.19770v1,CC BY 4.0。

![论文图4:插销任务的触觉RGB帧与由标记位移计算的剪切矢量场。](https://arxiv.org/html/2409.19770v1/figures/shear_figure.png)**图示来源**:Fig. 4,Sipos、van den Bogert、Fazeli,arXiv:2409.19770v1,CC BY 4.0。

**完成检查**:空载帧与接触帧可重开;安装命令在各自仓库根目录成功结束;只在输入副本已备份时才运行数据拆分;深度/剪切输出按各README对应的输入和单位解释。

10|逐项验收并保存复现记录

按照明、空载成像、接触响应和卸载恢复四项留下验收记录。

1. 逐色点亮红、绿、蓝照明,记录每色是否亮、是否闪烁或有暗区;熄灯后再打开相机预览。

2. 保存无接触基线RGB图;以低力轻触胶垫,保存触碰图,再完全卸载并保存恢复图。三帧使用相同曝光/白平衡,比较触碰区域的颜色/标记变化及卸载后的回归情况。

3. 如要验收定量深度或剪切,使用形状/位移有已知值的样本,逐项记下样本尺寸、移动量、相机设置、基线帧和模型/算法版本。没有完成标定时,只报告图像或像素矢量,不报告实际力值。

4. 归档BOM改动、CAD提交号、关键元件料号和批次、焊接/极性检查、三帧原始图像、算法依赖版本、测试条件及失败现象。

论文Fig. 1(详情区)展示了带点阵和无点阵胶垫压印Block M的作者实验图;本机记录以你保存的基线、触碰和恢复帧为准。

![中文验收图:基线、接触、算法和记录四项,并列出主要观察项目。](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/8c5c104b-efb2-44fc-86b5-05cd685f51df/files/image/712a62bf788e4d39b6e5f0c1a0fa2cf7.png)**完成检查**:四阶段图像与照明记录齐全;任何未通过项标为待处理,未经标定的数据不写作力或毫米结果。

相关科技单元