多模态增强时尚推荐模型

融合视觉语义双重信号

这是一个同时利用商品视觉特征与语义属性进行偏好建模的推荐模型,通过关系感知传播与多任务学习提升个性化推荐的准确度。

宋雪萌 · 王春 · Changchang, Sun · 冯珊珊 · Min, Zhou · 聂礼强

IEEE Transactions on Knowledge and Data Engineering 2023

技术优势

语义属性不再浪费

通过属性增强的隐表示学习,材质、品牌等语义属性被有效整合,补充了仅靠视觉难以捕捉的用户偏好。

多模态图协同建模

同时构建关系导向图和视觉导向图,使属性与视觉信息在统一的图框架下互补。

适用多种关系类型

关系感知传播能够自适应聚合邻居信息,应对用户-商品、商品-属性等异构关系。

缓解冷启动属性问题

采用深度多任务学习策略,在关系感知置信度分配中处理样本稀少的独特属性。

应用场景