认知数字孪生系统

将大语言模型与数字孪生结合，实时融合场景语义，实现人机协作中的任务规划、异常检测与调度推理。

立新 · He, Bin · 王志鹏 · 周艳敏 · Li, Gang · 李想

IEEE Transactions on Automation Science and Engineering 2024

技术优势

融合场景语义

用场景语义图编码实体几何信息、空间关系和协作活动，再通过提示与大语言模型连接，让模型及时全面地理解真实场景。

支持多种决策

系统能根据任务需求快速感知场景变化并做出高层次决策，如任务规划、异常检测和调度推理，适应不同协作活动。

应用场景

• 人机协作：为操作员提供专业指导，并监控操作过程的安全性与规范性。
• 具身智能：将大语言模型与真实场景数据连接，赋予机器人认知决策能力。
• 智能制造：提升柔性制造中人机协作的生产效率，适应个性化任务和动态场景。