Text Generation Inference 大语言模型文本生成推理

授权协议：None操作系统：None 开发语言：None

用于文本生成推理的 Rust、Python 和 gRPC 服务器。在HuggingFace的生产中用于为 LLM 的 api 推理小部件提供支持。特性：使用简单的启动器为最流行的大型语言模型...