Nemotron

Nemotron 是英伟达自家的开放权重大模型产品线。当前的 Nemotron 3 这一代围绕同一个思路打造：Mamba-Transformer 混合架构加 MoE 路由——既保留超长上下文和高速解码，又不用为每个 token 支付稠密大模型的全部算力。家族共四档：Nano 4B、Nano-Omni 30B-A3B、Super 120B-A12B、Ultra 550B-A55B，全部支持 256K 上下文。权重都采用英伟达的开放模型许可（大部分型号为 NVIDIA Open Model License，Ultra 为 OpenMDW-1.1）。

四款里有三款是 MoE，这里有个关键区别：决定速度的是每个 token 的*激活*参数量，决定 VRAM 占用的却是*总*参数量——所有专家都得老老实实待在显存里。下面的估算沿用本站公式：Q4 @ 8K 上下文需求 ≈ Q4 权重 + 0.025 GB × 激活参数（十亿）× 8 + 1 GB 开销。上下文拉得越长，KV cache 还会在这之上继续增长。

尺寸梯度

• NVIDIA-Nemotron-3-Nano-4B-BF16（4B 稠密）— Q4 在 8K 上下文下总共约 4 GB → 随便一张 12GB 显卡都绰绰有余，8GB 卡也有富余。这是常驻后台小助手的档位。模型页
• Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16（30B MoE，激活 3B）— Q4 约 18 GB → 24GB 显卡（RTX 3090/4090 这一档）刚好从容装下。每 token 只激活 3B，解码速度远超同体量稠密模型，而且是家族里主打推理（Reasoning）的 omni 变体。模型页
• NVIDIA-Nemotron-3-Super-120B-A12B-BF16（120B MoE，激活 12B）— Q4 约 69 GB → 进入 96GB 档：单张 RTX 6000 级工作站卡，或双 48GB 卡。实际速度体感接近 12B 稠密模型，在这个能力档位上相当难得。模型页
• NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4（550B MoE，激活 55B）— Q4 约 315 GB → 没有任何单张消费级显卡沾边，属于 192GB+ 多卡领域，现实配置是 4×96GB 以上的机组或小型机房节点。官方发布的就是 NVFP4 检查点，摆明了面向正经的推理集群，而不是游戏主机。模型页

家族亮点

规格表里有三点值得单独说。第一，该用 MoE 的地方全是 MoE：Super 有 512 个专家、每 token 激活 22 个，Nano-Omni 是 128 个专家激活 6 个——大模型的质量，小模型的解码成本。第二，全系统一 256K 上下文，这正是混合 Mamba 层的价值所在：长上下文下 KV cache 的增长比纯 Transformer 平缓得多。第三，英伟达官方直接给的开放许可，商用产品里用起来没有后顾之忧。坚持跑 FP16/BF16 全精度的朋友也请看下账：仅权重就要 8 GB（Nano 4B）、60 GB（Nano-Omni）、240 GB（Super）、约 1.1 TB（Ultra）。

怎么选

• 12GB 或更少： Nano 4B 跑 Q4，还有余量拉长上下文，不用纠结。
• 24GB（RTX 3090/4090）： Nano-Omni 30B-A3B 是整个家族的甜点——推理特化、速度快、装下之后还有余量应付更长上下文。如果只推荐一个"显卡配模型"的组合，就是它。
• 48GB（双 24GB 或单张 48GB）： 卡在中间不上不下，Super 120B 的 Q4 仍然装不下。要么接受更激进的量化，要么直接规划 96GB。
• 96GB： Super 120B-A12B 跑 Q4 是真正的本地旗舰，12B 激活量保证了交互流畅度。
• 192GB+： 到这个级别才轮得到 Ultra 550B——而约 315 GB 的需求意味着多张高显存卡协同工作。如果还要问"值不值"，那 Super 就是你的天花板。

相关链接

• 本地 LLM 到底需要多少 VRAM？
• MoE 模型最佳显卡
• 推理模型最佳显卡
• Hugging Face 上的 NVIDIA Nemotron