长程模仿少出错
将演示视频的分段时序一致性与末端空间对齐引入规划与代码生成,抑制视觉模仿中的累积误差。
Quan, Chen · Chenrui, Shi · Qi, Chen · 武玉伟 · Xintong, Zhang · Rui, Gao · 张昊宇 · 高志 · Sun, Che · Wu, Kun · 贾云得
IEEE Robotics and Automation Letters 2026
LongVIL 将规划与代码生成都接入视频验证,每一步都对照演示视频检查时序一致性与空间对齐,从源头减少误差累积。
通过在规划后和代码后双重验证,时序、空间和规划-代码错误均大幅下降,即使在长程任务中也能保持与演示一致的行为。
LongVILBench 包含 150 个桌面操作任务与 300 个演示视频,步骤数可达 18,覆盖多种空间关系与难度,测试结果稳定。
LongVIL 作为验证模块,可在现有视觉模仿流程的规划与代码生成阶段插入,无需重写整个框架。