TinyLlama-1.1B 小型但强大的语言模型

授权协议：None操作系统：None 开发语言：None

TinyLlama 项目旨在在 3 万亿 tokens 上进行预训练，构建一个拥有11亿参数的Llama模型。经过精心优化，仅需16块A100-40G的GPU，便可在90天内完成这个任务。训...