指令：定义Cosine Annealing余弦退火学习率周期性变化
支持：度飞飞 腾讯混元 DeepSeek ChatGpt 纳米 豆包 MiniMax
合成：原始指令 头尾合成 大纲指令 详情指令 专业科研 关联指令
指令合成
指令：使用One Cycle Policy单周期学习率峰值控制
指令：定义Layer Normalization层归一化统计量计算优化
指令：实现Batch Normalization批归一化训练推理模式
指令：使用Group Normalization组归一化通道分组策略
指令：定义Instance Normalization实例归一化风格迁移优化
指令：使用Weight Standardization权重标准化卷积核优化
指令：实现Label Smoothing标签平滑交叉熵损失改进
指令：定义Focal Loss聚焦损失难易样本权重调整
指令：使用Triplet Loss三元组距离 margin 参数优化