Question 1

跑 推理 LLM 需要什么 GPU？

Accepted Answer

Q4 / 8K 上下文下，目录中 6 个 推理 LLM 约需 4.0–384.88 GB VRAM（权重 + KV cache + 1 GB 开销）。6 个中 5 个至少能被一款收录的零售 GPU 完整装下；本页最常见的性价比之选是 RTX 5090 32GB（MSRP $1,999——标价，非实时售价）。

Question 2

像 RTX 4090 24GB 这样的 24 GB 卡能跑 推理 LLM 吗？

Accepted Answer

6 个中有 4 个可以（Q4/8K）：Qwen3-4B-Thinking-2507, DeepSeek-R1-0528-Qwen3-8B, DeepSeek-R1-Distill-Qwen-14B, Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16。其余在 8K 上下文下需要超过 24 GB——各模型的最低需求见表。

Question 3

推理 LLM 应该跑 Q4 还是 FP16？

Accepted Answer

Q4。FP16 权重约为 Q4 的 3.6 倍（每参数 2.0 对 0.55 字节），同一模型 FP16 需要大得多的卡。本页按典型的本地配置 Q4 / 8K 上下文排名；每个链接的装机核对页也给出 FP16 结论。

#	模型	参数	Q4/8K 需求 (GB)	性价比 GPU（可装下）	最快零售 GPU	购买
1	Qwen3-4B-Thinking-2507	4.0B	4.0	Arc B570 10GB ≈60.5 tok/s 估算	RTX 5090 32GB ≈285.1 tok/s 估算	搜索 Amazon （返利链接）
2	DeepSeek-R1-0528-Qwen3-8B	8.2B	7.15	Arc B570 10GB ≈29.5 tok/s 估算	RTX 5090 32GB ≈139.1 tok/s 估算	搜索 Amazon （返利链接）
3	DeepSeek-R1-Distill-Qwen-14B	14.8B	12.1	RX 7600 XT 16GB ≈12.4 tok/s 估算	RTX 4090 24GB ≈92.5 tok/s 实测	搜索 Amazon （返利链接）
4	Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16	30.0B MoE 激活 3.0B	18.1	RX 7900 XT 20GB ≈169.7 tok/s 估算	RTX 5090 32GB ≈380.1 tok/s 估算	搜索 Amazon （返利链接）
5	DeepSeek-R1-Distill-Qwen-32B	32.8B	25.6	Mac mini M4 32GB ≈2.3 tok/s 估算	RTX 5090 32GB ≈34.8 tok/s 估算	搜索 Amazon （返利链接）
6	DeepSeek-R1	684.5B MoE 激活 37B	384.88	无零售 GPU 可装下	—	—

推理 LLM 最佳 GPU

热门装机核对

对比入选 GPU