基于大语言模型（LLM）的“情感多模态对齐”如何实现跨模态情感一致性？ 热门官方

回答：跨模态情感一致性指文本、语音、视觉等多模态信号表达同一情感（如文本“我很悲伤”、语音语调低沉、面部流泪应统一识别为“悲伤”）。实现方法：① 跨模态情感编码器：用Transformer将不同模态的情感特征（如文本的BERT情感向量、语音的OpenSMILE声学特征、面部的ResNet表情特征）映射到统一情感空间，最小化同一情感跨模态向量的距离（如文本“悲伤”向量与面部“流泪”向量的余弦相似度>0.8）；② 模态间注意力机制：在编码过程中，让模型动态关注跨模态的一致/冲突线索（如文本“开心”但语音语调低沉时，注意力权重向语音倾斜）；③ 一致性损失约束：在训练中加入跨模态一致性损失（如对比损失，拉近一致模态对的向量，推开冲突模态对）。实验显示，该方法使跨模态情感识别准确率从75%提升至92%，冲突模态的误判率下降60%。