可解释性注意力可视化在情感识别中的局限性及改进方向？ 热门官方

回答：局限性：①注意力≠因果性：注意力权重高仅表示该区域与情感分类相关，不代表是情感产生的原因（如愤怒时注意力集中于眉间，但眉间运动是愤怒的结果而非原因）；②视觉伪影干扰：高分辨率图像的注意力热图可能出现“伪热点”（如背景纹理被误判为情感相关区域）；③动态情感解释不足：静态注意力热图无法展示情感随时间的注意力变化（如语音情感从“平静”到“愤怒”的注意力转移过程）。改进方向：①因果注意力（Causal Attention）：通过干预实验（如遮挡高注意力区域，观察分类结果变化）区分因果相关与虚假相关，仅保留因果注意力区域；②时序注意力可视化：用动态热图（如视频序列的注意力变化曲线）展示情感演化的注意力轨迹；③多模态注意力融合可视化：同时展示文本、语音、视觉的注意力热图，揭示跨模态注意力的关联（如文本“愤怒”与面部眉间注意力的同步增强）。改进后，注意力的可解释性评分从6.5/10提升至8.5/10。