跑本地 LLM 到底需要多大 VRAM？（3B 到 100B+）

Q4 与 FP16 需求估算，默认 8K 上下文 · AI Hashrate 指南

诚实的回答是：比模型文件本身更大。跑一个本地 LLM，需要装下权重 + 上下文对应的 KV cache + 运行时开销。在 AI Hashrate 上，我们用同一个公式估算这三部分，所以本篇指南里的数字和你在每个 GPU、每个模型页面上看到的完全一致。下文默认使用 8K 上下文，并且只有当一个模型的需求 ≤ 显存的 95% 时，我们才算它"装得下"。

这些 VRAM 数字是怎么算出来的？

我们的估算分三部分：

Fit = 权重 + KV cache + 1 GB 开销。其中权重 = 总参数量 × 每参数字节数（Q4 为 0.55，FP16 为 2.0），KV cache ≈ 激活参数量 ×（上下文 ÷ 1024）× 0.025 GB。MoE 模型需要存下全部专家（总参数量），但 KV cache 只按激活参数量计算。完整的推导过程可以看我们的方法说明页。

3B 模型需要多大 VRAM？

像 Llama-3.2-3B（3.2B 参数）这样的小模型是最轻松的一档：

任意 4 GB 以上的显卡都能轻松跑 Q4；RTX 3060 12GB 这样的 12 GB 卡甚至装得下 FP16。这一档非常适合老卡和笔记本。

7B–8B 模型需要多大 VRAM？

本地部署最热门的一档（Llama-3.1-8B、Qwen3-8B、Mistral-7B）：

Q4 能塞进 8 GB 卡（按 95% 规则可用 7.6 GB），但 FP16 得要一张 24 GB 的卡，比如 RTX 4090 或 RX 7900 XTX。这就是为什么我们说"8B 跑 Q4"是本地推理的甜点档：它几乎在哪都能跑。

13B 模型需要多大 VRAM？

Q4 能装进 12 GB 卡（可用 11.4 GB）；FP16 大致需要一张 32 GB 的卡，比如 RTX 5090 32GB。注意 12 GB 跑 Q4 已经贴着上限了——上下文再长一点就会装不下。

30B 级模型需要多大 VRAM？

以 Qwen3-32B（32.8B 参数）为参照：

这一档最容易让人出乎意料：24 GB 的 RTX 4090（可用 22.8 GB）在 8K 上下文下装不下 32B 的 Q4，而 32 GB 的 RTX 5090（可用 30.4 GB）装得下。FP16 则需要 A100 80GB 这样的 80 GB 数据中心卡。有一个例外：这个尺寸级别的 MoE 模型，比如 Qwen3-30B-A3B，因为只有约 3B 参数被激活，KV cache 要小得多。

70B 模型需要多大 VRAM？

Llama-3.1-70B（70.6B 参数）：

Q4 需要一张 80 GB 卡（可用 76 GB）——像 RTX 6000 Ada 这样的 48 GB 卡在 8K 下差一口气。FP16 需要 MI300X 这样的 192 GB 加速卡；跑 Q4 的话，也可以用 128 GB 统一内存的 MacBook Pro M4 Max。

100B+ 模型需要多大 VRAM？

这里有两个完全不同的故事：

在我们跟踪的任何量化精度下，没有任何一张消费级显卡跑得了稠密 405B。MoE 旗舰则可及得多：Qwen3-235B 的 Q4 能装进 192 GB 的 MI300X 或 192 GB 的 Mac Studio M2 Ultra，因为 KV cache 随 22B 激活参数增长，而不是 235B 总参数。

上下文长度真的会改变答案吗？

会——KV cache 随上下文线性增长。从 8K 翻倍到 16K，KV 那一列就翻倍。对 FP16 的稠密 70B 来说，这意味着多出 14 GB；对 8B 模型来说，只有 1.6 GB。如果一个模型在 8K 下刚好差一点装不下，把上下文砍半到 4K 往往就够了。

结论是什么？

在 8K 上下文下可以记住这条经验法则：8 GB 跑 8B Q4，12 GB 跑 13B Q4，32 GB 跑 32B Q4，80 GB 跑 70B Q4。FP16 的需求大致翻三倍。想要按具体 GPU、具体模型查看答案——包括估算的 tok/s——请用 AI Hashrate 首页的交互矩阵。