具身场景多模态知识图

构建效率与质量双优

统一场景知识注入的知识图构建方法，克服通用知识库稀疏与预训练模型不确定性，提升具身智能决策。

Song, Yaoxian · Penglei, Sun · Liu, Haoyu · 李直旭 · 宋伟 · 肖仰华 · Zhou, Xiaofang

IEEE Transactions on Knowledge and Data Engineering 2024

技术优势

数据收集更高效

统一场景知识注入框架结合知识工程与大语言模型，减少了人工收集和整理的成本，减轻数据收集负担。

知识质量更高

利用大语言模型处理非结构化场景信息，提高知识图谱的完整性与准确性，优于通用知识库的稀疏性。

无需重新设计模型

知识增强方法可直接使用 ManipMob-MMKG 提升现有模型在具身任务上的表现，无需复杂地重新设计模型结构。

应用场景

• 具身智能：为具身智能体提供操作与移动任务的场景知识，增强决策。
• 服务机器人：用于室内服务场景，如操作与移动，提高任务成功率。
• 人形机器人：为人形机器人在室内环境提供多模态场景知识，支撑操作决策。
• 智能物联：通过统一知识表示整合多模态场景数据，支持智能物联中的知识驱动决策。
• 可穿戴智能：为可穿戴设备提供室内环境中的场景知识，辅助用户交互与决策。