MoonshotAI Moonlight 开源 MoE 模型

Moonlight 是月之暗面公司推出的开源 MoE(Mixture of Experts)语言模型，使用 Muon 优化器训练，激活参数仅需3B。 该模型在训练效率和性能上表现出色，训练 FL...