SGLang

SGLang 是 2026 年与 vLLM 并驾齐驱的新一代 LLM 推理引擎，核心创新是 RadixAttention：用前缀树（Radix Tree）组织 KV 缓存，自动识别并复用相似请求的公共前缀，减少约七成重复计算，在结构化生成任务上内存占用可低至其他框架的约六分之一。它还提供声明式语法来描述复杂生成逻辑，JSON 输出、程序合成、多轮推理、外部 API 调用这类需要精确控制的任务，端到端延迟比 vLLM 低约四成，是跑 Agent 和结构化输出任务的首选引擎。项目以纯 Python 为主、部署门槛低，支持主流 NVIDIA GPU，社区迭代极快，2026 年多个版本针对长上下文支持做了重点扩展。