Tokasaurus 用于高吞吐量工作负载的 LLM 推理引擎

Tokasaurus 是一款专为高吞吐量工作负载设计的 LLM 推理引擎。在以吞吐量为中心的基准测试中，Tokasaurus 的性能比 vLLM 和 SGLang 高出多达 3 倍以上。 其功能...