
两块 AMD AI PRO 9700 想跑 P2P(显卡直通互联),但主板不支持——这是老平台双卡部署最头疼的问题。一张 PCIe Switch 卡 + 台达 1500W,问题就解决了。
问题:老平台 P2P 不通
双卡跑张量并行(TP),理想状态是两张显卡直接 P2P 互联,不走 CPU 中转,显存访问延迟最低。但很多老平台(尤其是 X99 这类)的 BIOS 里 P2P 选项被锁死,或者硬件层面就不支持。
结果就是:两张卡之间所有数据都要绕道 CPU 内存中转,TP 的效率大打折扣,长上下文下延迟明显。
解法:PCIe Switch
核心思路是在主板和显卡之间插一个 PCIe Switch 卡,把两张卡的 PCIe 通道汇聚到 Switch 上,让显卡之间的数据走 Switch 直接转发,绕过 CPU 中转。
实测成本:PCIe Switch 板卡 2380 元(含两根 x16 引出线),台达 1500W 电源 1099 元(双卡高功耗需要大电源)。
为什么值得花这个钱
- 双卡 TP 的 P2P 通路直接打开,显存互访延迟大幅下降
- 比"换一台支持 P2P 的新主板"便宜得多
- 引出线可以灵活走线,机箱内布局不受限
注意
- 需要确认 Switch 卡支持你的 PCIe 代际(X99 是 PCIe 3.0,别买只支持 PCIe 4.0 的)
- 电源功率要留足余量,双卡高负载下 1500W 才稳
- BIOS 里 PCIe 相关设置要调对(Above 4G Decoding 等)