面向残障人士的情感计算：听障/视障群体的多模态替代与感知适配？ 热门官方

回答：听障与视障群体在情感表达与感知上存在天然屏障，需构建替代模态与适配感知通道：①听障群体：以视觉与触觉为主通道——面部表情与手语动作（如ASL中“喜悦”的手势+嘴角上扬）作为主要情感输入，辅以可穿戴振动触觉反馈（如手腕振动频率映射情感强度：高频表“喜悦”，低频表“悲伤”）；利用高帧率摄像头结合MediaPipe Hands实现手语动作情感特征提取，结合面部关键点检测，融合为“视觉情感向量”，在听障用户情感识别任务中准确率达80%；②视障群体：以听觉与触觉为主通道——语音语调（如语速加快表“焦虑”）、环境声音（如敲击桌面的急促节奏表“愤怒”）为输入，辅以3D空间音频定位（将情感来源方向编码为方位感）与触觉阵列（背心多区域振动表情感类别）；通过盲源分离与环境音增强算法提取情感声学特征，结合语音情感识别模型，视障用户情感识别准确率达78%；③跨模态替代融合：针对不同残障类型动态切换主模态并加权融合（听障者面部+手语权重0.7/0.3，视障者语音+环境音权重0.6/0.4），确保情感信息不因感官缺失而丢失。应用如丰田“无障碍座舱”原型，已实现对听障/视障驾驶员情感状态的实时监测与语音/触觉反馈。