轻轻按一下,屏幕就显出接触轮廓;一颗USB触觉指尖的桌面实验
把原版DIGIT触觉传感器接到Linux电脑,观察轻触引起的图像变化,保存空载、接触和释放三张图。只需一颗传感器与USB数据线,可先在桌面体验视觉触觉,再扩展机械手应用。
alan000
准备一颗能直接连接电脑的触觉传感器。
1. 核对商品与机身型号为GelSight DG-01原版DIGIT。配一根Micro-USB数据线,另一端与电脑USB口匹配;标为仅充电的线换成支持数据传输的线。
2. 准备带桌面的Linux电脑和可写入的本地文件夹。先让传感器独立放在桌面完成采集,所需物料是一颗传感器和一根数据线。
3. 2026-10-04记录的原厂报价为355美元、交期4—6周,仅作历史预算参考。下单时确认型号、数据线是否包含、当前价格及交期。
*原版DIGIT产品外观;核对机身型号和Micro-USB接口。*
**完成检查**:传感器型号、数据线接口与电脑系统均已确定。
找到物体接触的位置,检查运输后是否完好。
1. 把传感器放在稳定桌面,找到柔软感测面与外壳上的USB接口。用侧光观察感测面,检查裂口、剥离和明显异物。
2. 握住硬质外壳,轻触接口周围,检查插口是否松动。插头对准方向后直插,遇阻时拔出重新对准。
3. 本次使用成品内部相机与照明,保留外壳和接触层完整。准备干净指腹或光滑圆头物体作为演示物,尖角、刀口和粗糙边缘远离软表面。
*结构图帮助识别外壳与感测面。本次桌面采集保留成品装配状态。*
**完成检查**:感测面完整、USB插口稳固,演示物的接触部位光滑。
[下载DIGIT桌面采集包(ZIP:采集脚本与中文安装说明)](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/32cafe80-9852-40b3-8eb7-33016844416a/files/code/d5213a3bd7614734a1aafb17bc8a2b2d.zip)。解压到工作目录后按本步操作,依赖需要联网安装。
把程序、依赖和图像集中放在同一个工作目录。
1. 在Linux桌面打开终端,执行下面四行命令。命令会创建digit-work目录及其中的虚拟环境;此后每次重新打开终端,都先进入该目录并激活digit-env。
```
mkdir -p digit-work
cd digit-work
python3 -m venv digit-env
source digit-env/bin/activate
```
1. 安装原页面固定版本接口与图像库,再检查依赖。这里使用有窗口支持的opencv-python,以便显示实时图像。
```
python -m pip install "numpy<2" "opencv-python<4.12" "digit-interface==0.2.1"
python -m pip check
python -c "import cv2; from digit_interface import Digit, DigitHandler; print('imports OK')"
python --version
python -m pip freeze > requirements-installed.txt
```
若创建环境时提示缺少venv,Ubuntu/Debian可先安装对应系统包:`sudo apt install python3-venv`,再执行创建环境命令。若出现版本兼容错误,保留第一条报错与Python版本,解决后再继续。
**完成检查**:导入检查显示imports OK,pip check通过,目录内有requirements-installed.txt。
用序列号选择正确的传感器,避免打开电脑上的其他摄像头。
1. 把Micro-USB端插入DIGIT,另一端直连电脑USB口,等待设备枚举。先关闭可能占用这颗摄像头的其他程序。
2. 在已激活的终端执行以下命令,找到返回列表中的serial字段,与机身背面的序列号逐字比较。
```
python -c "from digit_interface import DigitHandler; print(DigitHandler.list_digits())"
```
1. 返回空列表时,先更换已知可传数据的线和电脑USB口,再重新执行。仍为空则执行lsusb,检查系统是否看到USB设备。
2. 若系统识别设备但普通用户访问报权限错误,下载下方原仓库规则并先阅读内容,再由电脑管理员安装到udev规则目录、重新加载并重新插拔设备。规则需要管理员权限;保存报错可区分USB识别与权限问题。
*序列号在设备背面;程序使用该编号选择传感器。*
[Linux设备权限设置步骤](https://github.com/facebookresearch/digit-interface#adding-digit-udev-rule) · [查看原版udev规则](https://github.com/facebookresearch/digit-interface/blob/main/udev/50-DIGIT.rules)
**完成检查**:返回列表中有与机身标签一致的serial,记录该值。
[下载DIGIT桌面采集包(ZIP:采集脚本与中文安装说明)](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/32cafe80-9852-40b3-8eb7-33016844416a/files/code/d5213a3bd7614734a1aafb17bc8a2b2d.zip)。解压到工作目录后按本步操作,依赖需要联网安装。
打开实时画面,并用独立按键保存空载、接触和释放图像。
1. 打开文本编辑器,新建纯文本文件,把下方完整代码保存为digit-work目录中的`digit_capture.py`。文件扩展名保持.py。
2. 回到第3步的终端,执行`python digit_capture.py`。出现Serial提示后输入第4步记录的序列号并回车。
3. 图像窗口出现后,先保持感测面空载。程序请求VGA/30fps设置,实际保存尺寸会写入每张图片旁的JSON记录。
4. 点击图像窗口使其获得键盘焦点:b保存空载,c保存接触,r保存释放,Esc退出。文件名带时间戳,重复采集会生成新文件。
```
"""DIGIT desktop capture: b=baseline, c=contact, r=release, Esc=quit."""
from datetime import datetime
from pathlib import Path
import json
import cv2
from digit_interface import Digit, DigitHandler
def main():
print("Connected sensors:", DigitHandler.list_digits())
serial = input("Serial on your DIGIT label: ").strip()
if not serial:
raise ValueError("Enter the sensor serial number.")
output = Path("captures") / datetime.now().strftime("%Y%m%d_%H%M%S_%f")
output.mkdir(parents=True, exist_ok=False)
sensor = Digit(serial)
sensor.connect()
try:
sensor.set_resolution(Digit.STREAMS["VGA"])
sensor.set_fps(Digit.STREAMS["VGA"]["fps"]["30fps"])
keys = {ord("b"): "baseline", ord("c"): "contact", ord("r"): "release"}
print("Click the image window. b=baseline c=contact r=release Esc=quit")
while True:
frame = sensor.get_frame()
if frame is None or frame.size == 0:
raise RuntimeError("Empty frame: check USB connection and device permissions.")
cv2.imshow("DIGIT capture", frame)
key = cv2.waitKey(1) & 0xFF
if key == 27:
break
if key in keys:
stamp = datetime.now().strftime("%H%M%S_%f")
path = output / f"{keys[key]}_{stamp}.png"
if not cv2.imwrite(str(path), frame):
raise OSError(f"Image save failed: {path}")
path.with_suffix(".json").write_text(json.dumps({
"serial": serial, "state": keys[key], "time": datetime.now().isoformat(),
"shape": list(frame.shape), "requested_stream": "VGA/30fps",
"sensor_info": sensor.info(),
}, indent=2), encoding="utf-8")
print("Saved", path.resolve())
finally:
sensor.disconnect()
cv2.destroyAllWindows()
if __name__ == "__main__":
main()
```
**完成检查**:实时窗口有画面,按b后终端打印Saved及图片完整路径。
通过同一块区域接触前后的变化观察触觉成像。
1. 让传感器固定不动、感测面保持空载,等画面稳定。在图像窗口按b,确认终端打印以baseline\_开头的PNG路径。
2. 握住外壳,用干净指腹或光滑圆头物体轻触感测面中央。看窗口中是否出现局部颜色或轮廓变化;出现清晰变化后保持位置,按c。
3. 打开captures下本次时间命名的文件夹,分别打开baseline\_与contact\_图片。比较接触区域的位置、形状和颜色,记录本次使用的演示物。
4. 若轻触后没有画面变化,先确认画面仍在刷新、程序选中了正确序列号;保持轻触力度,排查图像连接。
**完成检查**:空载和接触两张PNG能打开,contact图中可定位接触区域。
原项目的触觉图像示例:上排是物体,下排是接触形变图。桌面初次尝试选光滑圆头或干净指腹。图源:[DIGIT / Meta](https://digit.ml/digit.html)。
用释放后的图像检查感测面是否恢复到接近空载状态。
1. 沿离开感测面的方向抬起演示物,保持传感器位置和光照设置不变。
2. 观察接触轮廓消退,在图像窗口按r,确认终端显示release\_文件已保存。
3. 将release\_与baseline\_图并排查看,比较原接触区域。若持续存在明显凹痕或表面损伤,停止继续按压并检查感测层。
4. 保留三种状态对应的JSON文件,其中记录序列号、时间和图像尺寸。这组图像用于观察接触形变;力或深度数值需要专门的标定与算法。
**完成检查**:本次文件夹内有baseline、contact、release三类图及各自的JSON记录。
[原项目演示:观察接触过程与对应触觉图像](https://www.youtube.com/watch?v=F73kkqiHGwE)(DIGIT / Meta)。
把这次采集整理成下一次能够直接复用的文件夹。
1. 点击图像窗口,按Esc。窗口应关闭,终端回到命令提示符;此时程序已释放相机。
2. 把`digit_capture.py`、requirements-installed.txt和本次captures子文件夹一起保留。另写一条记录说明演示物、接触位置及观察结果。
3. 需要再次采集时,在digit-work内执行source digit-env/bin/activate,再运行python `digit_capture.py`。下一次会创建新的时间目录。
4. 共享涉及上游设计或接口库的资料时,保留CC BY-NC 4.0许可及作者署名。硬件适配到机械手属于后续扩展,本轮完成桌面成像记录。
**完成检查**:程序已退出,三类图片、JSON、采集程序和依赖清单都能在归档目录找到。