基于对比学习的情感表征如何提升跨模态一致性? 热门官方
回答:跨模态情感表征需确保“同一情感在不同模态(如文本‘我很开心’与面部微笑)的表征一致”。对比学习通过跨模态对比损失(如将文本“开心”的表征与面部微笑的表征拉近,与悲伤表征推开)实现。例如,用CLIP-Emotion模型,将文本与面部表情编码到同一空间,跨模态情感识别准确率较单模态提升30%,且对“文本积极但面部悲伤”的矛盾情况识别率达85%(可检测伪装情感)。
用户讨论(回复)
共 0 条记录,当前显示第 1- 条
« 上一页
下一页 »
相关阅读