neng8科技快讯网AI人工智能前沿资讯_汽车数码相机评测_手机电脑硬件百科

MARS（Make vAriance Reduction Shine）是字节跳动推出的创新的优化框架，提升大型模型训练的效率。MARS融合预条件梯度方法与方差减少技术，基于缩放随机递归动量技术优化梯度估计。MARS框架灵活，支持全矩阵或对角Hessian近似，衍生出基于AdamW、Lion和Shampoo的三种优化算法实例。