CTranslate2 Transformer 模型的快速推理引擎

CTranslate2 是一个 C++ 和 Python 库，用于使用 Transformer 模型进行高效推理。 该项目实现了一个自定义运行时，应用了许多性能优化技术，如权重量化、层融合、批量...