Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16

NVIDIA · 30.0B（激活 3.0B） · MoE · ctx 256K · nvidia-open-model-license · HuggingFace

Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16（NVIDIA）是 AI Hashrate 收录的30.0B 参数 MoE（每 token 激活 3.0B）开放权重模型。 按 8K 上下文估算：Q4 约需 18.1 GB VRAM（权重 16.5 GB + KV 0.6 GB + 开销 1 GB），FP16 约需 61.6 GB。 在该上下文假设下，目录中约有 22 款 GPU/加速器能在 Q4 下完整装下此模型。 Q4 最快配置：B200 192GB SXM ≈ 1697.0 tok/s（估算）; MI300X 192GB ≈ 1124.2 tok/s（估算）; H200 141GB SXM5 ≈ 1018.2 tok/s（估算）; H100 80GB SXM5 ≈ 710.6 tok/s（估算）; Gaudi 3 128GB ≈ 694.9 tok/s（估算）。 下表给出各硬件的 VRAM 装机情况与每美元 tok/s（按 MSRP 标价）。估算基于显存带宽公式；有实测时以实测为准。详见方法论页。 方法论.

85 个硬件配置——按 tok/s 排序。默认装机上下文 8K。

硬件	VRAM	量化	tok/s	装得下？	tok/s/$
B200 192GB SXM	192	Q4	1697.0 估算	是	0.042
MI300X 192GB	192	Q4	1124.2 估算	是	0.075
H200 141GB SXM5	141	Q4	1018.2 估算	是	0.029
H100 80GB SXM5	80	Q4	710.6 估算	是	0.024
Gaudi 3 128GB	128	Q4	694.9 估算	是	0.056
B200 192GB SXM	192	FP16	466.7 估算	是	0.012
RTX 5080 16GB	16	Q4	454.6 估算	否	0.455
A100 80GB SXM4	80	Q4	432.5 估算	是	0.029
RTX 5070 Ti 16GB	16	Q4	424.3 估算	否	0.566
RTX 5090 32GB	32	Q4	380.1 估算	是	0.19
RTX 4080 Super 16GB	16	Q4	348.6 估算	否	0.349
RTX 4070 Ti Super 16GB	16	Q4	318.2 估算	否	0.398
MI300X 192GB	192	FP16	309.2 估算	是	0.021
RX 9070 16GB	16	Q4	303.1 估算	否	0.552
RX 9070 XT 16GB	16	Q4	303.1 估算	否	0.506
RX 7800 XT 16GB	16	Q4	295.5 估算	否	0.592
H200 141GB SXM5	141	FP16	280.0 估算	是	0.008
RX 7900 GRE 16GB	16	Q4	272.8 估算	否	0.497
Arc A770 16GB	16	Q4	265.2 估算	否	0.76
RTX 4090 24GB	24	Q4	213.8 估算	是	0.134
RTX 4090D 24GB (China)	24	Q4	213.8 估算	是	0.134
RTX 3090 Ti 24GB	24	Q4	213.8 估算	是	0.107
RTX 5060 Ti 16GB	16	Q4	212.2 估算	否	0.495
RX 7900 XTX 24GB	24	Q4	203.6 估算	是	0.204
RTX 6000 Ada 48GB	48	Q4	203.6 估算	是	0.03
RTX 3090 24GB	24	Q4	198.5 估算	是	0.132
H100 80GB SXM5	80	FP16	195.4 估算	是	0.007
Gaudi 3 128GB	128	FP16	191.1 估算	是	0.015
L40S 48GB	48	Q4	183.3 估算	是	0.023
RTX 5070 12GB	12	Q4	179.0 估算	否	0.326
Mac Studio M3 Ultra 96GB	96	Q4	173.7 估算	是	0.043
Mac Studio M2 Ultra 192GB	192	Q4	169.7 估算	是	0.024
RX 7900 XT 20GB	20	Q4	169.7 估算	是	0.189
RTX A6000 48GB	48	Q4	162.9 估算	是	0.036
T4 16GB	16	Q4	151.5 估算	否	0.076
RTX 4070 Ti 12GB	12	Q4	147.6 估算	否	0.185
RTX 3080 10GB	10	Q4	140.6 估算	否	0.201
RTX 4060 Ti 16GB	16	Q4	136.4 估算	否	0.273
RX 7600 XT 16GB	16	Q4	136.4 估算	否	0.415
RTX 4070 12GB	12	Q4	134.3 估算	否	0.224
RTX 4070 Super 12GB	12	Q4	134.3 估算	否	0.224
Arc B580 12GB	12	Q4	121.5 估算	否	0.488
A100 80GB SXM4	80	FP16	118.9 估算	是	0.008
MacBook Pro M4 Max 128GB	128	Q4	115.8 估算	是	0.026
RX 7700 XT 12GB	12	Q4	115.1 估算	否	0.256
RTX 6000 Ada 48GB	48	FP16	97.1 估算	否	0.014
RTX 3060 12GB	12	Q4	95.9 估算	否	0.291
L40S 48GB	48	FP16	87.4 估算	否	0.011
MacBook Pro M3 Max 128GB	128	Q4	84.8 估算	是	0.02
RTX 5090 32GB	32	FP16	80.6 估算	否	0.04
RTX A6000 48GB	48	FP16	77.7 估算	否	0.017
Arc B570 10GB	10	Q4	70.3 估算	否	0.321
Mac mini M4 Pro 64GB	64	Q4	57.9 估算	是	0.026
RTX 5060 8GB	8	Q4	53.0 估算	否	0.177
RTX 5060 Ti 8GB	8	Q4	53.0 估算	否	0.14
RTX 3070 8GB	8	Q4	53.0 估算	否	0.106
Mac mini M4 Pro 64GB	64	FP16	49.1 估算	否	0.022
Mac Studio M3 Ultra 96GB	96	FP16	47.8 估算	是	0.012
Mac Studio M2 Ultra 192GB	192	FP16	46.7 估算	是	0.007
RTX 4060 Ti 8GB	8	Q4	34.1 估算	否	0.085
RX 7600 8GB	8	Q4	34.1 估算	否	0.127
RTX 4060 8GB	8	Q4	32.2 估算	否	0.108
MacBook Pro M4 Max 128GB	128	FP16	31.8 估算	是	0.007
RTX 4090 24GB	24	FP16	25.5 估算	否	0.016
RTX 4090D 24GB (China)	24	FP16	25.5 估算	否	0.016
RTX 3090 Ti 24GB	24	FP16	25.5 估算	否	0.013
Mac mini M4 32GB	32	Q4	25.5 估算	是	0.026
RX 7900 XTX 24GB	24	FP16	24.3 估算	否	0.024
RTX 3090 24GB	24	FP16	23.7 估算	否	0.016
MacBook Pro M3 Max 128GB	128	FP16	23.3 估算	是	0.006
RX 7900 XT 20GB	20	FP16	14.1 估算	否	0.016
RTX 5080 16GB	16	FP16	10.8 估算	否	0.011
RTX 5070 Ti 16GB	16	FP16	10.1 估算	否	0.013
RTX 4080 Super 16GB	16	FP16	8.3 估算	否	0.008
RTX 4070 Ti Super 16GB	16	FP16	7.6 估算	否	0.01
RX 9070 16GB	16	FP16	7.2 估算	否	0.013
RX 9070 XT 16GB	16	FP16	7.2 估算	否	0.012
RX 7800 XT 16GB	16	FP16	7.0 估算	否	0.014
RX 7900 GRE 16GB	16	FP16	6.5 估算	否	0.012
Arc A770 16GB	16	FP16	6.3 估算	否	0.018
Mac mini M4 32GB	32	FP16	5.4 估算	否	0.005
RTX 5060 Ti 16GB	16	FP16	5.0 估算	否	0.012
T4 16GB	16	FP16	3.6 估算	否	0.002
RTX 4060 Ti 16GB	16	FP16	3.2 估算	否	0.006
RX 7600 XT 16GB	16	FP16	3.2 估算	否	0.01

装机核对

• RTX 5090 32GB — 装得下 · ≈380.1 tok/s Q4 估算
• RTX 3090 Ti 24GB — 装得下 · ≈213.8 tok/s Q4 估算
• RTX 4090 24GB — 装得下 · ≈213.8 tok/s Q4 估算
• RTX 5080 16GB — 装不下 · ≈454.6 tok/s Q4 估算
• RTX 6000 Ada 48GB — 装得下 · ≈203.6 tok/s Q4 估算
• RX 7900 XTX 24GB — 装得下 · ≈203.6 tok/s Q4 估算
• RTX 3090 24GB — 装得下 · ≈198.5 tok/s Q4 估算
• RTX 5070 Ti 16GB — 装不下 · ≈424.3 tok/s Q4 估算
• L40S 48GB — 装得下 · ≈183.3 tok/s Q4 估算
• Mac Studio M3 Ultra 96GB — 装得下 · ≈173.7 tok/s Q4 估算
• Mac Studio M2 Ultra 192GB — 装得下 · ≈169.7 tok/s Q4 估算
• RX 7900 XT 20GB — 装得下 · ≈169.7 tok/s Q4 估算

12 款热门零售 GPU；上表每行的「装得下？」结论同样链接到完整装机核对页。

同族模型：Nemotron

Nemotron 3 NVIDIA-Nemotron-3-Super-120B-A12B-BF16 · NVIDIA-Nemotron-3-Nano-4B-BF16 · NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4

全部 Nemotron 模型 →