8模型25损失最优
用线性相似度替代余弦,并自适应分配边距,使模型训练更稳定、特征更具判别力。
宋文伟 · 康文雄 · Kong, Adams Wai Kin · Yufeng, Zhang · Yitao, Qiao
International Journal of Computer Vision 2024
自适应边距约束梯度幅度,既避免过大梯度导致震荡,又避免过小梯度使得优化停滞。
线性相似度让梯度随模型质量提升而单调下降,训练前期大步更新、后期精细调整,省去人工调节学习率。
在7个手势认证数据集上胜过25种SOTA损失函数,用在8种SOTA模型上全部提升性能。
损失函数独立于模型结构,可替换现有模型的损失而不改网络,代码已开源。