将夹爪的底层位置、电流和视觉变化转换成机器人可以直接理解和调用的语义状态
代码规则与YOLO视觉协同互补，实现夹爪全状态感知与过载保护
swx
2026.8.31
- **基础环境与版本**：
- **Python 版本**：`Python 3.10` 或 `3.11`（支持 PyTorch、YOLO 及 LeRobot 框架最稳定的版本）。
- **环境管理器**：Conda / Miniforge。
- **核心依赖库**：
- **硬件驱动与控制**：`lerobot`（Hugging Face 机械臂开源框架）、`scscl`（STS3215 总线舵机通信驱动库）、`pyserial`（串口通信）。
- **视觉检测与推理**：`ultralytics`（YOLOv8 / YOLOv11）、`onnxruntime` / `onnxruntime-gpu`（ONNX 加速推理）、`opencv-python`（图像采集与 GUI 显示）。
- **深度学习与数据处理**：`torch`、`torchvision`、`numpy`。
- **系统级依赖**：`ffmpeg`（用于视频流编解码与数据录制）。
- **遥操作环境准备**
- **下载实验代码**
> **环境配置具体操作如下**
#### 📋 夹爪状态语义感知与控制系统 - Python 环境配置手册
##### 1. 创建独立的 Conda 虚拟环境
建议使用 Python 3.10 创建干净的环境，避免依赖冲突：
Bash
```
# 创建虚拟环境
conda create -n semantic_touch python=3.10 -y
# 激活环境
conda activate semantic_touch
```
##### 2. 安装 PyTorch 深度学习框架
根据对方的硬件配置（有无 NVIDIA 显卡）选择安装：
- **有 GPU (CUDA 11.8/12.1)**：
Bash
```
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118
```
- **纯 CPU 运行**：
Bash
```
pip install torch torchvision
```
##### 3. 安装视觉与算法依赖
安装 YOLO 识别与 ONNX 部署加速相关的库：
Bash
```
# 安装 YOLO 与 OpenCV 视觉库
pip install ultralytics opencv-python numpy
# 安装 ONNX 加速引擎 (若有 GPU 请安装 onnxruntime-gpu)
pip install onnxruntime
```
##### 4. 安装硬件驱动与机械臂控制依赖
安装总线舵机串口通信与 LeRobot 控制依赖：
Bash
```
# 安装串口通信与数据处理库
pip install pyserial pandas
# (可选) 若涉及 LeRobot 框架底座与轨迹录制
pip install lerobot
```
##### 5. 系统级外设配置与检查
- **串口权限 (Linux/Ubuntu)**：若在 Linux 运行，需赋予总线舵机串口权限：
Bash
```
sudo chmod 777 /dev/ttyUSB0
```
- **摄像头驱动**：确保 USB 摄像头索引正确（代码中通常默认 `cv2.VideoCapture(0)` 或 `1`）。
- **FFmpeg 支持**：推荐在系统中安装 `ffmpeg` 以支持视频流保存。
- **采集当前机械臂串口数据**：
- **使用终端采集命令**：ls /dev/cu.\*
- **各个关节的活动度范围采集**：
- **执行代码看打印**：
- cd到DOI_ROBOT目录下
- 执行：python hand_arm_data/get_arm\_[positions.py](http://positions.py)
- 手动活动机械臂各个关节采集数据
- **执行代码**：python data_collect/stall_over_load\_[collect.py](http://collect.py)
- [视频](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/14e015b0-9e9a-4f06-8ddc-5cf9e19817b9/files/video/d5cf1dcf79ef444cb56d342c6e7fa265.mp4)
- **夹取物体观察代码log**
- [视频](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/14e015b0-9e9a-4f06-8ddc-5cf9e19817b9/files/video/2a2e87e23b894b81b7582e6204277e4a.mp4)
- **打开遥操作**
- **执行代码**：python yolo_model/realtime_gripper\_[control.py](http://control.py)
- **代码弹出视频界面，观察右上角状态变化**
- **使用遥操作夹取物品**
- [视频](https://orecord-files.oss-cn-zhangjiakou.aliyuncs.com/sbp/projects/14e015b0-9e9a-4f06-8ddc-5cf9e19817b9/files/video/691d36f25b1b49e5913f2628465ad14a.mp4)
全部任务实验完成，关闭控制程序，断开设备电源。\
收纳全部实验方块、拆除工位标识，整理工作台。\
汇总全部任务的时序轨迹文件、实验录像、元数据、故障记录，完成整套实验样本归档。\
整理实验统计，统计任务数据结果、完成对照分析记录。