Llama

Meta 的 Llama 系列是本地大模型的"参照系"。社区里几乎所有 GGUF 量化、推理引擎和微调项目都优先支持 Llama，所以新手买卡时问的第一句话通常就是"跑 Llama 要什么显卡"。本文覆盖五个尺寸：Llama 3.2 3B、Llama 3.1 8B、Llama 3.1 70B、Llama 3.3 70B，以及 Llama 4 Scout（109B MoE，激活 17B）。它们都采用 Meta 社区许可（llama3.1 / llama3.2 / llama3.3 / llama4-community），不是 OSI 开源许可；上下文统一 128K，只有 Scout 例外——厂商标称 10M。

下面的 VRAM 数字按本站标准公式估算：Q4 权重 + 8K 上下文的 KV cache + 1GB 开销。上下文拉长后，每 1K token 大约还要为每个激活的十亿参数多加 0.025 GB，所以稠密 70B 跑 32K 会比 8K 多吃不少显存。

尺寸梯度

• Llama-3.2-3B-Instruct（3.2B 稠密）— Q4 在 8K 上下文下只需约 3.4 GB。几乎任何现代显卡都能跑，老的 8GB 卡也毫无压力，长上下文余量巨大。上 12GB 卡属于"杀鸡用牛刀"——不过是爽的那种。
• Llama-3.1-8B-Instruct（8B 稠密）— Q4 约 7.0 GB（8K）。这是 12GB 显卡（RTX 3060 12GB、RTX 4070 这一档）的甜点：速度快、显存宽裕，32K+ 上下文也放得下。FP16 光权重就要约 16 GB，全精度得 24GB 卡。
• Llama-3.1-70B-Instruct（70.6B 稠密）— Q4 在 8K 下约需 53.8 GB，单张 48GB 卡*刚好差一点*。Q4 的现实目标是 96GB 方案（RTX 6000 Pro 96GB 或 2×48GB）。坚持用 48GB 的话只能降到 Q2（总共约 34.8 GB），质量损失是实打实的。FP16 约 141 GB，那是机房的玩法。
• Llama-3.3-70B-Instruct（70.6B 稠密）— 尺寸与 3.1 70B 完全一致，Q4 同样约 53.8 GB，同样推荐 96GB。Meta 给 3.3 的定位是用 70B 的成本接近 405B 级别的质量，所以它已经基本取代 3.1 70B，成为大杯 Llama 的默认选择。
• Llama-4-Scout-17B-16E-Instruct（总参 109B，激活 17B，16 个专家）— 族内唯一的 MoE。Q4 权重约 60 GB，但每个 token 只激活 17B 参数，8K 上下文的 KV cache 只增加约 3.4 GB，合计约 64.4 GB。这是实打实的 96GB 档型号——但换来的是远好于稠密 109B 的 tok/s，跑起来的速度更接近一个 17B 稠密模型。

这个族特别在哪

Llama 真正的护城河是生态引力：所有量化格式、所有运行器（llama.cpp、Ollama、vLLM、LM Studio）以及大多数微调项目都把 Llama 当基准。3.x 全系 128K 上下文，对本地 RAG 相当够用——只是别忘了 KV cache 随上下文线性增长，70B 真跑满 128K 需要的显存远不止上面 8K 的数字。Scout 是个异类：10M 标称上下文（厂商宣传值，对超长上下文的宣传建议保持谨慎），加上 MoE 的效率，让 100B 级别的模型在单张高端工作站卡上成为可能。许可方面，社区许可对绝大多数商用场景都足够宽松，但如果你体量非常大，记得读一遍条款。

怎么选

• 12GB 显存 — Llama 3.2 3B 或 3.1 8B 的 Q4。重质量选 8B，是默认答案；要极限速度或小机器就上 3B。
• 16GB 显存 — 8B Q4 随便跑，上下文余量很大；非要 FP16 全精度也能塞下 8B（略紧）。
• 24GB 显存 — 8B 这一档对你来说毫无压力，预算其实该花在长上下文或 13B–30B 级别的其他模型上。
• 48GB 显存 — 70B 只能上激进的 Q2 量化；想舒舒服服跑 Q4 的 70B，请再加一档。
• 96GB 显存 — 这才是真正的 Llama 档：3.3 70B Q4，或者带 MoE 速度加成的 Llama 4 Scout。到了这里，Llama 不再是妥协之选。
• 192GB+ — Scout 或 70B 上 FP16 级精度，或者给 70B 配一个真正长的上下文窗口。

拿不准的话，先用 12–16GB 的卡跑 8B：这是搞清自己工作负载真实需求的最便宜方式，比一步到位上 96GB 稳妥得多。

相关链接

• 12GB 显卡最佳模型
• 16GB 显卡最佳模型
• 70B 模型最佳显卡
• 本地 LLM 到底需要多少 VRAM？
• LLM 量化详解