DualPipe 双向流水线并行算法

DualPipe（“双管道”）是在《深度搜索-V3 技术报告》中引入的一种创新的双向流水线并行算法。它实现了正向和反向计算-通信阶段的完全重叠，同时也减少了流水线气泡。 DualPipe采用了双...