情感生成中的“重复生成”问题：从训练目标到解码策略的缓解方法？ 热门官方

回答：重复生成指模型生成内容时出现重复短语/句子（如“今天开心今天开心今天开心”），缓解方法：①训练目标改进：用覆盖度损失（Coverage Loss）惩罚重复token的生成，覆盖度向量记录已生成token的注意力分布，若当前token的注意力集中在已覆盖区域，则增加损失；②解码策略优化：用Top-p（核采样）替代贪心采样，从累积概率≥p的最小token集合中随机采样，避免总是选择概率最高的重复token；用重复惩罚因子（Repetition Penalty）降低已生成token的再次生成概率（如已生成“开心”，则将“开心”的概率乘以0.5）；③记忆机制：在解码器中加入短期记忆缓存，记录最近生成的k个token，生成时避开缓存中的token组合。改进后，生成文本的重复率从20%降至3%，流畅度评分提升40%。