大模型训练中的“混合精度训练”是如何实现的？ 热门官方

混合精度训练（Mixed Precision Training）在保持模型精度的前提下，用半精度（FP16/BF16）进行大部分计算，用单精度（FP32）存储主权重与梯度累积以防止数值下溢/溢出。实现通常结合三项技术：1）自动插入FP32→FP16转换与反向转换的缩放因子（Loss Scaling），避免梯度消失；2）在优化器中使用FP32主权重更新；3）硬件支持如NVIDIA Tensor Cores可显著加速FP16矩阵乘。Megatron-LM、DeepSpeed等均内置混合精度支持。实践中，该方法能使训练速度提升1.5~3倍，显存占用减半，使更大模型或更大batch size的训练成为可能，是千亿参数模型训练的标配技术。