LLM智能体端到端推理链路POC验证样机
本项目搭建一套由大模型驱动的机械臂 Agent 闭环系统，使用 SO-ARM101-Pro 机械臂和世界 RGB 摄像头，结合 GPT-5.6、OpenAI Responses API 函数调用与 LangGraph 编排，实现自然语言指令直接控制实体机械臂。系统完成意图解析、视觉物体识别、空间定位、动作规划、机械臂执行和视觉校验闭环，实物验证三项任务：方块与柱体分类摆放、红色方块人机手掌递放、按尺寸筛选较大灰色方块搬运。实验采集执行日志、图像和运动轨迹，用于评估大模型在物理世界任务规划中的表现。
刘桑妮
\# 复现步骤\
\
阶段1：硬件组装与接线\
使用精密十字螺丝刀套装，完成SO-ARM101机械臂舵机、3D打印结构件装配；\
安装2块Feetech舵机驱动板，通过USB-C线缆连接笔记本电脑；接入5V/12V电源适配器，完成供电接线；\
将USB RGB摄像头固定在工作台上方，调整拍摄角度，保证可完整采集实验台面、机械臂工作空间、各类方块与柱体目标。\
\
阶段2：软件环境部署与手眼标定\
在笔记本安装Python3.10，安装项目所需依赖包，部署整套代码仓库；\
执行手眼标定程序，完成摄像头坐标系到机械臂基座坐标系的转换，保存标定参数；\
配置OpenAI Responses API密钥，完成LangGraph Agent环境初始化，调试工具调用接口。\
\
阶段3：视觉感知模块加载与测试\
加载基于YOLO二次开发的视觉感知模块，在工作台拍摄样本，完成物体类别、颜色、尺寸识别测试；\
验证模块可识别红色方块、灰色方块、不同规格柱体，输出目标物体像素坐标。
\
\
阶段4：Agent任务链路调试\
配置Agent工具集：视觉检测、空间坐标转换、动作规划、机械臂驱动、结果校验模块；\
调试LangGraph任务闭环：接收自然语言指令→LLM解析任务→调用视觉识别→坐标转换→运动规划→机械臂执行→摄像头复核结果；\
配置异常分支：物体识别失败、目标超出机械臂可达范围时，触发重试或任务终止逻辑。
\
\
阶段5：两项抓取任务实验\
任务 1：方块、柱体分类放置到黄色台子上
执行任务 1，在终端输入自然语言指令：`把方块和柱体分类放置到黄色台子上`。Agent 接收任务，识别台面所有物体，规划抓取路径，将方块、柱体分别搬运至两个黄色台子上，完成分类摆放。
\
任务 2：红色方块放置到模拟手掌
执行任务 2，终端输入自然语言指令：`把红色方块放到手掌上`。Agent 接收任务，识别红色方块与手掌目标，完成抓取、抬升、投放，将红色方块放置到模拟手掌掌心。
任务 2 执行前初始画面，红色方块置于工作台，模拟手掌就位，等待 Agent 执行抓取。
任务 2 执行完成，红色方块成功放置在模拟手掌掌心。
\
任务 3：将较大灰色方块放置到黄色台子
执行任务 3，终端输入自然语言指令：`把较大的灰色方块放到黄色台子上`。Agent 接收任务，区分大小两个灰色方块，识别目标物体，规划路径完成抓取摆放。
任务 3 执行前初始画面，工作台同时存在一大一小两个灰色方块，验证 Agent 可以根据语言描述筛选目标物体。
任务 3 执行完成，较大灰色方块成功放置到黄色台子上。
阶段6：结果校验与实验记录\
每轮动作执行结束后，视觉模块自动采集图像复核任务完成状态；记录任务成功/失败案例，记录识别错误、碰撞、抓取掉落等异常情况，用于后续迭代优化。