neng8科技快讯网AI人工智能前沿资讯_汽车数码相机评测_手机电脑硬件百科

dots.llm1 是小红书 hi lab 开源的中等规模 Mixture of Experts（MoE）文本大模型，具有 1420 亿参数，激活参数为 140 亿。模型在 11.2T 高质量 token 数据上进行预训练，用高效的 Interleaved 1F1B 流水并行和 Grouped GEMM 优化技术，训练效率显著提升。