壁画修复语义更连贯
将大语言模型生成的语义先验与结构布局注入扩散模型,通过双向跨模态交互提升壁画修复的语义一致性与纹理重建质量。
Yuning, Wang · 周蓬勃 · Wei, Liang · Lipeng, Yan · 耿国华 · 张顺利
Applied Soft Computing Journal 2026
通过多模态大模型生成精细的语义描述,引导修复区域与壁画整体内容保持一致,避免主题冲突。
利用掩码自编码器重建全局结构布局,为修复提供空间几何先验,弥补纯文本描述的空间信息缺失。
双向跨模态交互模块在文本与视觉特征间进行双向注意力,生成互补的多模态表示,增强先验注入的有效性。
自适应多模态先验选择与注入模块筛选信息性提示并抑制低频干扰,提升扩散模型对多模态先验的利用效率。