neng8科技快讯网AI人工智能前沿资讯_汽车数码相机评测_手机电脑硬件百科

EPLB – DeepSeek 开源的专家并行负载均衡器

EPLB – DeepSeek 开源的专家并行负载均衡器

EPLB(Expert Parallelism Load Balancer)是 DeepSeek 推出的专家并行负载均衡器,能解决大规模模型训练中不同专家模型(Expert)负载不均的问题。EPLB 基于冗余专家策略,复制高负载专家,合理分配到不同 GPU 上,实现负载均衡。EPLB结合 group-limited expert routing 技术,将同一组专家放置在同一节点内,减少跨节点通信开销。
22 0 2025-08-28