情感识别模型的“对抗鲁棒性评估”：跨模态对抗攻击与防御效果量化？ 热门官方

回答：跨模态对抗攻击指同时扰动多个模态（如在面部图像加噪+语音加扰），评估防御效果：①跨模态攻击生成：用联合对抗训练方法（如Multi-Modal PGD）生成跨模态扰动，使模型在面部+语音双模态输入下的准确率从85%降至30%；②防御效果量化指标：除传统对抗准确率外，新增“跨模态攻击成功率”（攻击后模型错误分类的比例）、“模态贡献度偏移”（攻击后某模态权重异常升高/降低的程度）；③防御方法对比：对抗训练（跨模态攻击成功率从70%降至25%）、输入预处理（降至45%）、联合防御（降至15%）。测试显示，联合防御（对抗训练+跨模态预处理）是最优方案，且对单模态攻击的防御效果无下降。