文章

FEATURED · 精选文章

NInfer：70+ t/s 的速度代价是显存

NInfer 主打速度极致：单卡 3090 跑 27B 稳定 70+ t/s，远超 llama.cpp。代价是显存占用激进——上下文拉长或多并发时显存就是墙。