dots.llm1 中等规模的 MoE 文本大模型

dots.llm1 是一个大规模的 Mixture of Experts (MoE)语言模型，在总共 1420 亿参数中激活 140 亿参数，借助精心设计且高效的数据处理流程，dots.llm1...