单模态单尺度最佳
通过孪生解码器与在线码本,同时重建掩码表示与掩码点,使模型兼具低层与高层表征能力,不增加额外参数。
Qibo, Qiu · Honghui, Yang · Jian, Jiang · Shun, Zhang · Ying H. · Gao, Haiming · Wang, Wenxiao · 何晓飞
IEEE Transactions on Circuits and Systems for Video Technology 2025
通过两个解码器分别重建掩码表示和掩码点,使模型同时学习几何细节和语义上下文,适应多样下游任务。
孪生解码器在增加一个解码分支的同时保持可学习参数量不变,避免过拟合。
在线码本将连续 token 投影为离散 token,迫使解码器通过 token 组合而非记忆单个 token 发挥作用。
在分类和分割任务上取得卓越性能,超过其他仅使用单模态单尺度输入的方法。