把指尖接触变成图像|DIGIT

轻轻按一下,屏幕就显出接触轮廓;一颗USB触觉指尖的桌面实验

把原版DIGIT触觉传感器接到Linux电脑,观察轻触引起的图像变化,保存空载、接触和释放三张图。只需一颗传感器与USB数据线,可先在桌面体验视觉触觉,再扩展机械手应用。

alan000

参数信息

默认图像流
640×480 / 30 像素 / fps

复现文档

准备原版DIGIT与USB数据线

准备一颗能直接连接电脑的触觉传感器。

1. 核对商品与机身型号为GelSight DG-01原版DIGIT。配一根Micro-USB数据线,另一端与电脑USB口匹配;标为仅充电的线换成支持数据传输的线。

2. 准备带桌面的Linux电脑和可写入的本地文件夹。先让传感器独立放在桌面完成采集,所需物料是一颗传感器和一根数据线。

3. 2026-10-04记录的原厂报价为355美元、交期4—6周,仅作历史预算参考。下单时确认型号、数据线是否包含、当前价格及交期。

![原版DIGIT产品外观;核对机身型号和Micro-USB接口。](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/32cafe80-9852-40b3-8eb7-33016844416a/files/image/6724c7744b604aaf915f0d941a0a96bb.png)*原版DIGIT产品外观;核对机身型号和Micro-USB接口。*

**完成检查**:传感器型号、数据线接口与电脑系统均已确定。

检查柔软接触面与USB插口

找到物体接触的位置,检查运输后是否完好。

1. 把传感器放在稳定桌面,找到柔软感测面与外壳上的USB接口。用侧光观察感测面,检查裂口、剥离和明显异物。

2. 握住硬质外壳,轻触接口周围,检查插口是否松动。插头对准方向后直插,遇阻时拔出重新对准。

3. 本次使用成品内部相机与照明,保留外壳和接触层完整。准备干净指腹或光滑圆头物体作为演示物,尖角、刀口和粗糙边缘远离软表面。

![结构图帮助识别外壳与感测面。本次桌面采集保留成品装配状态。](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/32cafe80-9852-40b3-8eb7-33016844416a/files/image/f8dc9fe1243d41d38ffe2eb23bab0f2c.png)*结构图帮助识别外壳与感测面。本次桌面采集保留成品装配状态。*

**完成检查**:感测面完整、USB插口稳固,演示物的接触部位光滑。

创建工作目录并安装采集接口

![digit-files.png](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/32cafe80-9852-40b3-8eb7-33016844416a/files/image/a67478782fa24f039e9546b8e709dfe1.png)[下载DIGIT桌面采集包(ZIP:采集脚本与中文安装说明)](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/32cafe80-9852-40b3-8eb7-33016844416a/files/code/d5213a3bd7614734a1aafb17bc8a2b2d.zip)。解压到工作目录后按本步操作,依赖需要联网安装。

把程序、依赖和图像集中放在同一个工作目录。

1. 在Linux桌面打开终端,执行下面四行命令。命令会创建digit-work目录及其中的虚拟环境;此后每次重新打开终端,都先进入该目录并激活digit-env。

```

mkdir -p digit-work

cd digit-work

python3 -m venv digit-env

source digit-env/bin/activate

```

1. 安装原页面固定版本接口与图像库,再检查依赖。这里使用有窗口支持的opencv-python,以便显示实时图像。

```

python -m pip install "numpy<2" "opencv-python<4.12" "digit-interface==0.2.1"

python -m pip check

python -c "import cv2; from digit_interface import Digit, DigitHandler; print('imports OK')"

python --version

python -m pip freeze > requirements-installed.txt

```

若创建环境时提示缺少venv,Ubuntu/Debian可先安装对应系统包:`sudo apt install python3-venv`,再执行创建环境命令。若出现版本兼容错误,保留第一条报错与Python版本,解决后再继续。

**完成检查**:导入检查显示imports OK,pip check通过,目录内有requirements-installed.txt。

插入USB并读出机身序列号

用序列号选择正确的传感器,避免打开电脑上的其他摄像头。

1. 把Micro-USB端插入DIGIT,另一端直连电脑USB口,等待设备枚举。先关闭可能占用这颗摄像头的其他程序。

2. 在已激活的终端执行以下命令,找到返回列表中的serial字段,与机身背面的序列号逐字比较。

```

python -c "from digit_interface import DigitHandler; print(DigitHandler.list_digits())"

```

1. 返回空列表时,先更换已知可传数据的线和电脑USB口,再重新执行。仍为空则执行lsusb,检查系统是否看到USB设备。

2. 若系统识别设备但普通用户访问报权限错误,下载下方原仓库规则并先阅读内容,再由电脑管理员安装到udev规则目录、重新加载并重新插拔设备。规则需要管理员权限;保存报错可区分USB识别与权限问题。

![序列号在设备背面;程序使用该编号选择传感器。](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/32cafe80-9852-40b3-8eb7-33016844416a/files/image/6724c7744b604aaf915f0d941a0a96bb.png)*序列号在设备背面;程序使用该编号选择传感器。*

[Linux设备权限设置步骤](https://github.com/facebookresearch/digit-interface#adding-digit-udev-rule) · [查看原版udev规则](https://github.com/facebookresearch/digit-interface/blob/main/udev/50-DIGIT.rules)

**完成检查**:返回列表中有与机身标签一致的serial,记录该值。

保存并运行图像采集程序

![digit-keys.png](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/32cafe80-9852-40b3-8eb7-33016844416a/files/image/cdee2ed9c9b747c08ccd7571f358253c.png)[下载DIGIT桌面采集包(ZIP:采集脚本与中文安装说明)](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/32cafe80-9852-40b3-8eb7-33016844416a/files/code/d5213a3bd7614734a1aafb17bc8a2b2d.zip)。解压到工作目录后按本步操作,依赖需要联网安装。

打开实时画面,并用独立按键保存空载、接触和释放图像。

1. 打开文本编辑器,新建纯文本文件,把下方完整代码保存为digit-work目录中的`digit_capture.py`。文件扩展名保持.py。

2. 回到第3步的终端,执行`python digit_capture.py`。出现Serial提示后输入第4步记录的序列号并回车。

3. 图像窗口出现后,先保持感测面空载。程序请求VGA/30fps设置,实际保存尺寸会写入每张图片旁的JSON记录。

4. 点击图像窗口使其获得键盘焦点:b保存空载,c保存接触,r保存释放,Esc退出。文件名带时间戳,重复采集会生成新文件。

```

"""DIGIT desktop capture: b=baseline, c=contact, r=release, Esc=quit."""

from datetime import datetime

from pathlib import Path

import json

import cv2

from digit_interface import Digit, DigitHandler

def main():

print("Connected sensors:", DigitHandler.list_digits())

serial = input("Serial on your DIGIT label: ").strip()

if not serial:

raise ValueError("Enter the sensor serial number.")

output = Path("captures") / datetime.now().strftime("%Y%m%d_%H%M%S_%f")

output.mkdir(parents=True, exist_ok=False)

sensor = Digit(serial)

sensor.connect()

try:

sensor.set_resolution(Digit.STREAMS["VGA"])

sensor.set_fps(Digit.STREAMS["VGA"]["fps"]["30fps"])

keys = {ord("b"): "baseline", ord("c"): "contact", ord("r"): "release"}

print("Click the image window. b=baseline c=contact r=release Esc=quit")

while True:

frame = sensor.get_frame()

if frame is None or frame.size == 0:

raise RuntimeError("Empty frame: check USB connection and device permissions.")

cv2.imshow("DIGIT capture", frame)

key = cv2.waitKey(1) & 0xFF

if key == 27:

break

if key in keys:

stamp = datetime.now().strftime("%H%M%S_%f")

path = output / f"{keys[key]}_{stamp}.png"

if not cv2.imwrite(str(path), frame):

raise OSError(f"Image save failed: {path}")

path.with_suffix(".json").write_text(json.dumps({

"serial": serial, "state": keys[key], "time": datetime.now().isoformat(),

"shape": list(frame.shape), "requested_stream": "VGA/30fps",

"sensor_info": sensor.info(),

}, indent=2), encoding="utf-8")

print("Saved", path.resolve())

finally:

sensor.disconnect()

cv2.destroyAllWindows()

if __name__ == "__main__":

main()

```

**完成检查**:实时窗口有画面,按b后终端打印Saved及图片完整路径。

分别保存空载和轻触图像

通过同一块区域接触前后的变化观察触觉成像。

1. 让传感器固定不动、感测面保持空载,等画面稳定。在图像窗口按b,确认终端打印以baseline\_开头的PNG路径。

2. 握住外壳,用干净指腹或光滑圆头物体轻触感测面中央。看窗口中是否出现局部颜色或轮廓变化;出现清晰变化后保持位置,按c。

3. 打开captures下本次时间命名的文件夹,分别打开baseline\_与contact\_图片。比较接触区域的位置、形状和颜色,记录本次使用的演示物。

4. 若轻触后没有画面变化,先确认画面仍在刷新、程序选中了正确序列号;保持轻触力度,排查图像连接。

**完成检查**:空载和接触两张PNG能打开,contact图中可定位接触区域。

![原项目实测物体及对应触觉图像](https://digit.ml/assets/images/digit/digit-output.png)原项目的触觉图像示例:上排是物体,下排是接触形变图。桌面初次尝试选光滑圆头或干净指腹。图源:[DIGIT / Meta](https://digit.ml/digit.html)。

移开物体并保存恢复状态

用释放后的图像检查感测面是否恢复到接近空载状态。

1. 沿离开感测面的方向抬起演示物,保持传感器位置和光照设置不变。

2. 观察接触轮廓消退,在图像窗口按r,确认终端显示release\_文件已保存。

3. 将release\_与baseline\_图并排查看,比较原接触区域。若持续存在明显凹痕或表面损伤,停止继续按压并检查感测层。

4. 保留三种状态对应的JSON文件,其中记录序列号、时间和图像尺寸。这组图像用于观察接触形变;力或深度数值需要专门的标定与算法。

**完成检查**:本次文件夹内有baseline、contact、release三类图及各自的JSON记录。

[原项目演示:观察接触过程与对应触觉图像](https://www.youtube.com/watch?v=F73kkqiHGwE)(DIGIT / Meta)。

退出相机并归档采集结果

把这次采集整理成下一次能够直接复用的文件夹。

1. 点击图像窗口,按Esc。窗口应关闭,终端回到命令提示符;此时程序已释放相机。

2. 把`digit_capture.py`、requirements-installed.txt和本次captures子文件夹一起保留。另写一条记录说明演示物、接触位置及观察结果。

3. 需要再次采集时,在digit-work内执行source digit-env/bin/activate,再运行python `digit_capture.py`。下一次会创建新的时间目录。

4. 共享涉及上游设计或接口库的资料时,保留CC BY-NC 4.0许可及作者署名。硬件适配到机械手属于后续扩展,本轮完成桌面成像记录。

**完成检查**:程序已退出,三类图片、JSON、采集程序和依赖清单都能在归档目录找到。

相关科技单元