EPLB 专家并行负载均衡器

授权协议:None操作系统:None 开发语言:None
EPLB (Expert Parallelism Load Balancer) 是适用于 V3/R1 的专家并行负载均衡器,解决 MoE 模型在分布式训练和推理中的负载不均衡问题。 在 MoE ...