DeepSeek开源周第四天：DualPipe与EPLB两项技术发布

2月27日，根据最新消息，今天是DeepSeek开源周的第四天。与前几日早早发布的开源项目不同，今天的发布稍显延迟，让不少关注者等待得有些焦急。不过，等待总是值得的，因为今天DeepSeek一口气公布了两项重要的开源内容。

此次发布的两项技术分别为DualPipe（双向管道并行算法）和EPLB（专家并行负载均衡器）。据官方介绍，DualPipe是一项基于DeepSeek-V3技术报告提出的双向管道等值算法。该算法通过实现向后和向前计算通信阶段的双向重叠，大幅减少了训练过程中的空闲时间。此外，其创新的流水线气泡优化调度策略，能够有效缓解传统管道并行中常见的“气泡”问题，从而提升硬件资源的整体利用率。目前，这项算法在GitHub上已经获得了544次收藏。

接下来重点介绍EPLB（专家并行负载均衡器）。该技术具有动态负载均衡、分层与全局平衡结合以及流量优化三大特点。其中，动态负载均衡功能基于混合专家（MoE）架构，通过复制高负载专家并采用启发式分配算法，优化了GPU之间的负载分布。在分层与全局平衡结合方面，EPLB不仅支持单个节点内的分层负载管理，还能实现跨节点的全局负载均衡，有效减少GPU闲置现象。此外，在流量优化方面，该技术能够在均衡负载的同时，通过调整专家分布降低节点间的数据通信量，从而提高整体训练效率。

这两项技术的开源发布，无疑为相关领域的研究与应用提供了有力支持，也进一步展示了DeepSeek在技术创新方面的实力与贡献。