fastllm 高性能大模型推理库

fastllm 是纯 C++ 实现的全平台 llm 加速库。支持 Python 调用，chatglm-6B 级模型单卡可达 10000+token / s，支持 glm、llama、moss 基...