解释“梯度累积与微批量”的关系 热门官方
微批量是将大batch拆成若干小batch依次前向与反向,累加梯度后更新,即梯度累积。它是显存受限下模拟大batch的常用技巧。
用户讨论(回复)
共 0 条记录,当前显示第 1- 条
« 上一页
下一页 »
相关阅读