KNOWLEDGE & PRACTICE

文章

从部署教程、模型评测到行业观察，把复杂问题整理成可执行的路径。

46
篇文章
4
内容板块

LATEST ARTICLES · 其余文章

38AMD 显卡本地部署大模型完全指南（ROCm 实战）基于你的 AMD 显卡，从零完成大模型本地部署的实战指南：ROCm 环境搭建、Ollama 与 vLLM 两种方案、27B 量化模型实测速度与显存占用，以及驱动、镜像、量化三大常见坑。3924GB 显存甜点区：RTX 3090 / 7900 XTX / 4090 本地大模型实测与选卡同样 24GB 显存，N 卡与 A 卡跑大模型的真实差距只有 10-14%——本文用公开实测数据讲透 24GB 能装多大模型、3090 与 4090 的速度差、7900 XTX 的量化阶梯，以及超频、PCIe 插槽、ROCm 环境三个最常踩的坑，给出按预算的选卡结论。40RTX 2080 Ti 22G 魔改卡实测：22GB 显存怎么来的、能跑什么、三件必须想清的风险2019 年的 Turing 卡把 11GB 显存换成 2GB 芯片堆到 22GB，约 1900 元拿到接近专业卡的容量。本文整理魔改原理、SDXL/SVD/大模型公开实测、Mats 验卡流程，以及无保修虚焊、矿卡来源、架构天花板三件买前必看的风险。41Ollama + ROCm：AMD 显卡从零跑通本地大模型AMD 显卡用户跑本地模型的完整路径：ROCm 环境准备、ollama-for-amd 部署、模型运行验证与常见坑，附 R9700 实测。42V100 32G 本地大模型部署与调优全指南：验卡、散热、驱动到调优32GB 显存档里价格最低的方案：Volta 架构、HBM2 900GB/s、250W 单 8pin。本文记录完整链路——Mats 验卡 + 24 小时烤机、双 12cm 风道散热整备、Windows 535 专业驱动、32GB 三层承载范围，以及双卡显卡坞方案的真实面貌。43多卡 3090 大模型推理：TP / PP / TP+PP 并行策略实测与选卡决策4 张 3090 = 96GB 显存能装下 70B 量化模型还留长上下文。本文基于公开的 4 卡 vLLM 实测讲透三种并行方式的 GPU 利用率差异（TP 80-90% 胜出）、PCIe 互连下的通信开销，以及插槽带宽、供电散热、驱动掉卡、跨厂商混插五大坑，给出双卡/四卡的预算决策。44显存不够时怎么办：量化与 CPU offload 实战策略32GB 显存下跑 27B 模型的实用策略：量化精度取舍、offload 机制原理、层切分的真实效果与常见误区。45RX 7900 XTX 跑大模型实测：量化阶梯、ROCm 调优与两个反直觉点24GB RDNA3 卡跑 LLM 的完整画像：FP16/INT8/INT4 三档量化能装多大模型、Ollama num_ctx 与 num_batch 调参、HSA_OVERRIDE_GFX_VERSION 兜底，以及 24GB 不等于长上下文自由、Vulkan 可能比 ROCm 更快两个反直觉点，附散热与降压超频建议。46R9700 32GB 本地推理定位：32B 全量 + 长上下文的甜点用法与调优要点RDNA4 架构 32GB 工作站的本地 AI 推理定位：32B Q4 全量 GPU + 8K-16K 上下文是最舒服用法，70B 只能 offload。本文整理 ROCm 部署路径、A 卡通用调优五要点，以及与 V100 32G / 5090 / L20 的 32GB 档对比和跨厂商多卡警告。