子任务先验优化机制

联合检索抗干扰

该机制通过子任务先验约束缓解联合训练中的任务干扰，并引入跨模态自适应门控以减少信息损失。

Siyu, Zhou · Zhang, Fuwei · 王若梅 · 周凡 · 苏卓

IEEE Transactions on Circuits and Systems for Video Technology 2024

技术优势

先验约束缓解任务干扰

利用子任务模型获得的先验特征约束联合模型，使检索与高亮检测不再互相拉扯。

压缩阶段同步完成跨模态融合

在特征压缩过程中进行跨模态交互并用自适应门控滤除冗余，减少信息损失。

应用场景

• 视频内容智能处理：用于视频片段检索与高亮检测的一体化处理，减少任务干扰引起的性能下降。
• 多模态视频分析：在特征压缩阶段完成跨模态交互，缓解多模态融合信息丢失。
• 视频高亮自动检测：通过子任务先验约束，使高亮检测与检索联合训练时性能更稳定。