跑 7B 级本地 LLM 的最佳 GPU

本站把「7B 级」定义为 4–12B 参数的开放权重模型——目录中共 10 个。下表列出 Q4 / 8K 上下文下至少能完整装下其中一个的所有目录 GPU，按其能装下模型的平均估算解码 tok/s 排名。装得下 = 权重 + KV cache + 1 GB 运行时开销不超过 95% VRAM——而非只看权重。 方法论.

平均值中，有实测锚点的行按实测计——逐模型标注见各硬件页。MSRP 为发布标价，非实时售价——Amazon 价格会变，点购买链接看当前价。装不下该级别任何模型的 GPU 不列出。

更多榜单：13B 级模型 · 30B 级模型 · 70B+ 模型 · $500 以内 · $1,000 以内 · $2,000 以内 · 8 GB VRAM · 12 GB VRAM · 16 GB VRAM · 24 GB VRAM · Qwen3 专区 · DeepSeek 专区 · Llama 专区 · Gemma 专区 · GLM 专区 · 编程模型 · 推理模型 · MoE 精选