KNOWLEDGE & PRACTICE

文章

从部署教程、模型评测到行业观察,把复杂问题整理成可执行的路径。

2
篇文章
4
内容板块

LATEST ARTICLES · 其余文章

02多卡 3090 大模型推理:TP / PP / TP+PP 并行策略实测与选卡决策4 张 3090 = 96GB 显存能装下 70B 量化模型还留长上下文。本文基于公开的 4 卡 vLLM 实测讲透三种并行方式的 GPU 利用率差异(TP 80-90% 胜出)、PCIe 互连下的通信开销,以及插槽带宽、供电散热、驱动掉卡、跨厂商混插五大坑,给出双卡/四卡的预算决策。