情感生成模型的“情感漂移”问题:成因与抑制方法? 热门官方
回答:情感漂移指生成内容的情感随时间/语境延续逐渐偏离初始目标情感(如初始目标“喜悦”,生成文本从“开心”逐渐变为“平淡”)。成因:①模型训练目标的短视性:标准训练目标(如交叉熵损失)仅优化单步生成,未考虑长程情感一致性;②上下文遗忘:长文本生成中,模型对初始情感目标的记忆衰减;③采样随机性:贪心采样或随机采样导致后续token情感偏离。抑制方法:①长程情感一致性损失:在训练中增加“情感状态跟踪损失”,约束生成内容的累计情感与目标情感的偏差(如用LSTM跟踪已生成文本的情感状态,与初始目标情感计算MSE);②情感记忆机制:在模型中添加“情感记忆模块”(如键值对记忆网络),存储初始情感目标,生成时动态检索记忆调整token概率;③受控采样:使用“情感引导采样”(如Top-K采样时优先选择与当前情感一致的token),减少随机性。实验显示,情感记忆机制可使长文本(>100字)的情感漂移率从40%降至8%。
用户讨论(回复)
共 0 条记录,当前显示第 1- 条
« 上一页
下一页 »
相关阅读