DeepEP 是专为 Mixture-of-Experts (MoE) 和 expert parallelism (EP) 定制的通信库。它提供高吞吐量和低延迟的 all-to-all GPU ...<
aio-socket 是一款基于 Java 的异步、非阻塞高性能 IO 库，其设计理念类似于 JDK7 提供的 AIO，但在性能和资源利用上做了优化。该库采用高效的内存管理策略和自定义的线程模型...<
Docling 简化了文档处理，解析各种格式（包括高级 PDF 理解），并提供与 gen AI 生态系统的无缝集成。 解析多种文档格式，包括 PDF、DOCX、XLSX、HTML、图像等 高级 ...<
Invoify 是一款基于 Web 的发票生成器应用程序，使用 Next.js 13、TypeScript、React 和 Shadcn UI 库构建。它提供了一种创建和管理专业发票的简便方法。...<
AIBrix 是一项开源计划，旨在提供构建可扩展 GenAI 推理基础设施的基本构建块。AIBrix 提供针对部署、管理和扩展大型语言模型 (LLM) 推理而优化的云原生解决方案，专门针对企业需...<
Moonlight 是月之暗面公司推出的开源 MoE(Mixture of Experts)语言模型，使用 Muon 优化器训练，激活参数仅需3B。 该模型在训练效率和性能上表现出色，训练 FL...<
GibberLink 是让 AI 对话从语言切换到特殊音频协议的工具，实现更高效、更隐秘的交流。 GibberLink 的原理是通过音频在两个设备之间传输数据。据称这种语言工具的交流效率比英语更...<
MinerU是一款将PDF转化为机器可读格式的工具（如markdown、json），可以很方便地抽取为任意格式。 MinerU诞生于书生-浦语的预训练过程中，我们将会集中精力解决科技文献中的符号...<
FlashMLA 是针对 Hopper GPU 优化的高效 MLA 解码内核，由 DeepSeek 开源，专为处理可变长度序列而设计，目前已投入生产环境。 据介绍，FlashMLA 专门针对多层...<
KTransformers是由清华大学的KVCache.AI团队与趋境科技联合发布的开源项目。该项目旨在解决千亿级大模型的本地部署问题，标志着大模型推理从“云端垄断”走向“普惠化”的重要一步1。...<
