文本引导去噪对齐模型

缓解模态信息不均

该模型通过原型去噪模块过滤行人无关噪声，并利用偏差感知对齐模块引导跨模态特征聚焦于描述相关的行人内容，显著提升了文本行人检索的跨模态匹配精度。

Liying, Gao · Niu, Kai · Jiao, Bingliang · Wang, Peng · 张艳宁

IEEE Transactions on Circuits and Systems for Video Technology 2023

技术优势

过滤行人无关噪声

该模型利用文本特征构建原型向量，引导去除视觉特征中背景、遮挡等与行人无关的信息，使图像表征更干净，降低匹配干扰。

对齐偏向描述的内容

偏差感知对齐模块引导模型持续关注跨模态特征中与文本描述偏好的行人部分，避免因描述偏向部分内容而忽略关键区域。

应用场景

• 视频监控行人检索：提升监控系统中根据目击者描述查找嫌疑人的准确率。
• 机器人视觉行人定位：使机器人能根据自然语言指令定位目标人物，用于服务或安保场景。