MoE模型在推理阶段如何保证专家负载均衡？ 热门官方

混合专家模型（MoE）推理时若某些专家被频繁选中而其他专家闲置，会导致计算资源浪费与显存热点。常用策略包括在门控网络中引入负载均衡损失（Load Balancing Loss），惩罚专家选择分布的极端不均；还可设置专家容量上限（Capacity Factor），超出容量的输入会被路由到其他专家或二次处理。推理部署时，可结合路由缓存与批处理策略，把分配到同一专家的请求集中执行，减少跨设备通信。Google Switch Transformer在训练中即引入专家使用频率约束，使推理阶段各专家利用率保持在合理区间，从而在扩展模型容量的同时保持高效率。