解释“EMA(指数移动平均)”在模型参数平滑中的作用 热门官方
EMA在训练过程中维护参数的滑动平均值(θ_ema ← αθ_ema + (1?α)θ),α为平滑系数。它可平滑掉训练过程中的噪声波动,使最终模型在验证集上更稳定、泛化更好。很多大模型在训练末期采用EMA权重进行评估与部署,可获得略优且更鲁棒的性能,常用于生成式模型与检测模型的最终发布。
用户讨论(回复)
共 0 条记录,当前显示第 1- 条
« 上一页
下一页 »
相关阅读