MT-MegatronLM 开源混合并行训练框架

授权协议：None操作系统：None 开发语言：None

MT-MegatronLM 是面向全功能GPU的开源混合并行训练框架，支持dense模型、多模态模型及MoE（混合专家）模型的高效训练。该框架利用全功能GPU支持FP8混合精度策略、高性能算子...