AutoGPTQ 大语言模型量化工具包

AutoGPTQ 是一个基于 GPTQ 算法，简单易用且拥有用户友好型接口的大语言模型量化工具包。 性能对比 推理速度 以下结果通过这个脚本生成，文本输入的 batch size 为1，解码策略...