自适应多模态修复网络

壁画修复语义更连贯

将大语言模型生成的语义先验与结构布局注入扩散模型,通过双向跨模态交互提升壁画修复的语义一致性与纹理重建质量。

Yuning, Wang · 周蓬勃 · Wei, Liang · Lipeng, Yan · 耿国华 · 张顺利

Applied Soft Computing Journal 2026

技术优势

语义更连贯

通过多模态大模型生成精细的语义描述,引导修复区域与壁画整体内容保持一致,避免主题冲突。

结构更完整

利用掩码自编码器重建全局结构布局,为修复提供空间几何先验,弥补纯文本描述的空间信息缺失。

跨模态融合

双向跨模态交互模块在文本与视觉特征间进行双向注意力,生成互补的多模态表示,增强先验注入的有效性。

抑制干扰

自适应多模态先验选择与注入模块筛选信息性提示并抑制低频干扰,提升扩散模型对多模态先验的利用效率。

应用场景