KNOWLEDGE & PRACTICE

文章

从部署教程、模型评测到行业观察,把复杂问题整理成可执行的路径。

1
篇文章
4
内容板块

FEATURED · 精选文章

部署教程

2026 主流 LLM 推理引擎选型:vLLM / SGLang / LMDeploy / KTransformers / TensorRT-LLM 到底怎么选

没有最快的推理引擎,只有最适合你场景的引擎。本文拆解 5 大主流推理引擎的核心技术(PagedAttention、RadixAttention、TurboMind 双引擎、CPU 极致优化、NVIDIA 内核融合),整理社区实测吞吐 / 延迟 / 显存数据,给出选型决策树与 6 个踩坑记录,帮你把"选引擎"这笔账算明白。

阅读全文

LATEST ARTICLES · 其余文章