Nanbeige4.2-3B — 哪些 GPU 装得下

Nanbeige · 4.0B · ctx 128K · apache-2.0 · HuggingFace

Nanbeige4.2-3B（Nanbeige）是 AI Hashrate 收录的4.0B 参数开放权重模型。按 8K 上下文估算：Q4 约需 4.08 GB VRAM（权重 2.2 GB + KV 0.88 GB + 开销 1 GB），FP16 约需 9.88 GB。在该上下文假设下，目录中约有 63 款 GPU/加速器能在 Q4 下完整装下此模型。 Q4 最快配置：B200 192GB SXM ≈ 1913.5 tok/s（估算）; MI300X 192GB ≈ 1251.0 tok/s（估算）; H200 141GB SXM5 ≈ 1148.1 tok/s（估算）; H100 80GB SXM5 ≈ 801.3 tok/s（估算）; Gaudi 3 128GB ≈ 773.3 tok/s（估算）。下表给出各硬件的 VRAM 装机情况与每美元 tok/s（按 MSRP 标价）。估算基于显存带宽公式；有实测时以实测为准。详见方法论页。方法论.

126 个硬件配置——按 tok/s 排序。默认装机上下文 8K。

硬件	VRAM	量化	tok/s	装得下？	tok/s/$
B200 192GB SXM	192	Q4	1913.5 估算	是	0.048
MI300X 192GB	192	Q4	1251.0 估算	是	0.083
H200 141GB SXM5	141	Q4	1148.1 估算	是	0.033
H100 80GB SXM5	80	Q4	801.3 估算	是	0.027
Gaudi 3 128GB	128	Q4	773.3 估算	是	0.062
B200 192GB SXM	192	FP16	526.2 估算	是	0.013
A100 80GB SXM4	80	Q4	487.7 估算	是	0.033
RTX 5090 32GB	32	Q4	428.6 估算	是	0.214
MI300X 192GB	192	FP16	344.0 估算	是	0.023
H200 141GB SXM5	141	FP16	315.7 估算	是	0.009
H100 80GB SXM5	80	FP16	220.3 估算	是	0.007
RTX 4090 24GB	24	Q4	219.1 估算	是	0.137
RTX 4090D 24GB (China)	24	Q4	219.1 估算	是	0.137
RTX 3090 Ti 24GB	24	Q4	219.1 估算	是	0.11
Gaudi 3 128GB	128	FP16	212.7 估算	是	0.017
RTX 5080 16GB	16	Q4	208.7 估算	是	0.209
RTX 6000 Ada 48GB	48	Q4	208.7 估算	是	0.031
RTX 3090 24GB	24	Q4	203.5 估算	是	0.136
V100 32GB SXM2	32	Q4	195.7 估算	是	0.02
V100 16GB PCIe	16	Q4	195.7 估算	是	0.024
RTX 5070 Ti 16GB	16	Q4	194.8 估算	是	0.26
MacBook Pro M4 Max 128GB	128	Q4	192.5 估算	是	0.044
L40S 48GB	48	Q4	187.8 估算	是	0.023
RX 7900 XTX 24GB	24	Q4	179.7 估算	是	0.18
RTX A6000 48GB	48	Q4	178.1 估算	是	0.04
RX 9070 16GB	16	Q4	176.7 估算	是	0.322
RX 9070 XT 16GB	16	Q4	176.7 估算	是	0.295
RTX 3080 10GB	10	Q4	176.3 估算	是	0.252
RX 7800 XT 16GB	16	Q4	172.3 估算	是	0.345
RTX 4080 Super 16GB	16	Q4	170.7 估算	是	0.171
RX 7900 GRE 16GB	16	Q4	159.0 估算	是	0.29
RTX 4070 Ti Super 16GB	16	Q4	155.8 估算	是	0.195
RTX 5070 12GB	12	Q4	155.8 估算	是	0.284
Titan V 12GB	12	Q4	151.4 估算	是	0.05
RX 7900 XT 20GB	20	Q4	149.7 估算	是	0.167
Arc Pro B70 32GB	32	Q4	143.5 估算	是	0.144
MacBook Pro M1 Max 32GB	32	Q4	141.0 估算	是	0.043
MacBook Pro M1 Max 64GB	64	Q4	141.0 估算	是	0.036
MacBook Pro M3 Max 128GB	128	Q4	141.0 估算	是	0.034
A100 80GB SXM4	80	FP16	134.1 估算	是	0.009
Arc A770 16GB	16	Q4	132.2 估算	是	0.379
RTX 4070 Ti 12GB	12	Q4	128.5 估算	是	0.161
Titan Xp 12GB	12	Q4	127.1 估算	是	0.106
RX 7700 XT 12GB	12	Q4	119.3 估算	是	0.266
RTX 5090 32GB	32	FP16	117.9 估算	是	0.059
RTX 4070 12GB	12	Q4	116.9 估算	是	0.195
RTX 4070 Super 12GB	12	Q4	116.9 估算	是	0.195
DGX Spark (GH200 480GB)	480	Q4	116.0 估算	是	0.039
Mac Studio M3 Ultra 96GB	96	Q4	115.3 估算	是	0.029
Mac Studio M2 Ultra 192GB	192	Q4	112.7 估算	是	0.016
Titan X Pascal 12GB	12	Q4	111.3 估算	是	0.093
Arc B580 12GB	12	Q4	107.6 估算	是	0.432
RTX 5060 8GB	8	Q4	103.9 估算	是	0.347
RTX 5060 Ti 8GB	8	Q4	103.9 估算	是	0.274
RTX 5060 Ti 16GB	16	Q4	103.9 估算	是	0.242
RTX 3070 8GB	8	Q4	103.9 估算	是	0.208
RTX 3060 12GB	12	Q4	93.1 估算	是	0.283
Arc B570 10GB	10	Q4	89.7 估算	是	0.41
Mac mini M4 Pro 64GB	64	Q4	87.5 估算	是	0.04
T4 16GB	16	Q4	82.8 估算	是	0.041
RTX 4060 Ti 8GB	8	Q4	74.5 估算	是	0.187
RTX 4060 Ti 16GB	16	Q4	74.5 估算	是	0.149
RTX 4060 8GB	8	Q4	70.3 估算	是	0.235
RX 7600 8GB	8	Q4	68.0 估算	是	0.253
RX 7600 XT 16GB	16	Q4	68.0 估算	是	0.207
RTX 4090 24GB	24	FP16	60.3 估算	是	0.038
RTX 4090D 24GB (China)	24	FP16	60.3 估算	是	0.038
RTX 3090 Ti 24GB	24	FP16	60.3 估算	是	0.03
RTX 5080 16GB	16	FP16	57.4 估算	是	0.057
RTX 6000 Ada 48GB	48	FP16	57.4 估算	是	0.008
RTX 3090 24GB	24	FP16	56.0 估算	是	0.037
V100 32GB SXM2	32	FP16	53.8 估算	是	0.005
V100 16GB PCIe	16	FP16	53.8 估算	是	0.007
RTX 5070 Ti 16GB	16	FP16	53.6 估算	是	0.072
MacBook Pro M4 Max 128GB	128	FP16	52.9 估算	是	0.012
L40S 48GB	48	FP16	51.7 估算	是	0.006
Ryzen AI Max+ 395 128GB	96	Q4	50.7 估算	是	0.025
Ryzen AI Max+ 395 64GB	48	Q4	50.7 估算	是	0.034
Ryzen AI Max 390 64GB	48	Q4	50.7 估算	是	0.039
Tesla P4 8GB	8	Q4	49.7 估算	是	0.621
RX 7900 XTX 24GB	24	FP16	49.4 估算	是	0.049
RTX A6000 48GB	48	FP16	49.0 估算	是	0.011
RX 9070 16GB	16	FP16	48.6 估算	是	0.089
RX 9070 XT 16GB	16	FP16	48.6 估算	是	0.081
RTX 3080 10GB	10	FP16	48.5 估算	临界	0.069
RX 7800 XT 16GB	16	FP16	47.4 估算	是	0.095
RTX 4080 Super 16GB	16	FP16	46.9 估算	是	0.047
Arc B570 10GB	10	FP16	43.9 估算	否	0.2
RX 7900 GRE 16GB	16	FP16	43.7 估算	是	0.08
RTX 4070 Ti Super 16GB	16	FP16	42.9 估算	是	0.054
RTX 5070 12GB	12	FP16	42.9 估算	是	0.078
Titan V 12GB	12	FP16	41.6 估算	是	0.014
RX 7900 XT 20GB	20	FP16	41.2 估算	是	0.046
Arc Pro B70 32GB	32	FP16	39.5 估算	是	0.04
MacBook Pro M1 Max 32GB	32	FP16	38.8 估算	是	0.012
MacBook Pro M1 Max 64GB	64	FP16	38.8 估算	是	0.01
MacBook Pro M3 Max 128GB	128	FP16	38.8 估算	是	0.009
Mac mini M4 32GB	32	Q4	38.5 估算	是	0.039
RTX 5060 8GB	8	FP16	36.5 估算	否	0.122
RTX 5060 Ti 8GB	8	FP16	36.5 估算	否	0.096
RTX 3070 8GB	8	FP16	36.5 估算	否	0.073
Arc A770 16GB	16	FP16	36.4 估算	是	0.104
RTX 4070 Ti 12GB	12	FP16	35.3 估算	是	0.044
Titan Xp 12GB	12	FP16	34.9 估算	是	0.029
RX 7700 XT 12GB	12	FP16	32.8 估算	是	0.073
RTX 4070 12GB	12	FP16	32.1 估算	是	0.054
RTX 4070 Super 12GB	12	FP16	32.1 估算	是	0.054
DGX Spark (GH200 480GB)	480	FP16	31.9 估算	是	0.011
Mac Studio M3 Ultra 96GB	96	FP16	31.7 估算	是	0.008
Mac Studio M2 Ultra 192GB	192	FP16	31.0 估算	是	0.004
Titan X Pascal 12GB	12	FP16	30.6 估算	是	0.026
Arc B580 12GB	12	FP16	29.6 估算	是	0.119
RTX 5060 Ti 16GB	16	FP16	28.6 估算	是	0.067
RTX 3060 12GB	12	FP16	25.6 估算	是	0.078
Mac mini M4 Pro 64GB	64	FP16	24.1 估算	是	0.011
RTX 4060 Ti 8GB	8	FP16	23.5 估算	否	0.059
RX 7600 8GB	8	FP16	23.5 估算	否	0.087
T4 16GB	16	FP16	22.8 估算	是	0.011
RTX 4060 8GB	8	FP16	22.2 估算	否	0.074
RTX 4060 Ti 16GB	16	FP16	20.5 估算	是	0.041
RX 7600 XT 16GB	16	FP16	18.7 估算	是	0.057
Tesla P4 8GB	8	FP16	15.6 估算	否	0.195
Ryzen AI Max+ 395 128GB	96	FP16	14.0 估算	是	0.007
Ryzen AI Max+ 395 64GB	48	FP16	14.0 估算	是	0.009
Ryzen AI Max 390 64GB	48	FP16	14.0 估算	是	0.011
Mac mini M4 32GB	32	FP16	10.6 估算	是	0.011

装机核对

RTX 5090 32GB — 装得下 · ≈428.6 tok/s Q4 估算
RTX 3090 Ti 24GB — 装得下 · ≈219.1 tok/s Q4 估算
RTX 4090 24GB — 装得下 · ≈219.1 tok/s Q4 估算
RTX 5080 16GB — 装得下 · ≈208.7 tok/s Q4 估算
RTX 6000 Ada 48GB — 装得下 · ≈208.7 tok/s Q4 估算
RX 7900 XTX 24GB — 装得下 · ≈179.7 tok/s Q4 估算
RTX 3090 24GB — 装得下 · ≈203.5 tok/s Q4 估算
RTX 5070 Ti 16GB — 装得下 · ≈194.8 tok/s Q4 估算
L40S 48GB — 装得下 · ≈187.8 tok/s Q4 估算
Mac Studio M3 Ultra 96GB — 装得下 · ≈115.3 tok/s Q4 估算
Mac Studio M2 Ultra 192GB — 装得下 · ≈112.7 tok/s Q4 估算
RX 7900 XT 20GB — 装得下 · ≈149.7 tok/s Q4 估算

12 款热门零售 GPU；上表每行的「装得下？」结论同样链接到完整装机核对页。

同族模型：南贝（Nanbeige）

全部南贝（Nanbeige）模型 →