什么是“激活函数Swish”及其优势? 热门官方
Swish是一种平滑的非线性激活函数,定义为 x·sigmoid(x),兼具ReLU的稀疏性与Sigmoid的平滑性。在深层网络中,Swish可缓解“死亡神经元”问题,梯度流动更连续,提升模型精度。它在MobileNetV3、EfficientNet中被广泛使用,并在大模型浅层替换ReLU可提升收敛速度与最终性能。
用户讨论(回复)
共 0 条记录,当前显示第 1- 条
« 上一页
下一页 »
相关阅读