KTransformers 大模型推理优化框架

授权协议：None操作系统：None 开发语言：None

KTransformers是由清华大学的KVCache.AI团队与趋境科技联合发布的开源项目。该项目旨在解决千亿级大模型的本地部署问题，标志着大模型推理从“云端垄断”走向“普惠化”的重要一步1。...