OLMo-2-1124-13B-Instruct — 哪些 GPU 装得下

allenai · 13.7B · ctx NoneK · apache-2.0 · HuggingFace

OLMo-2-1124-13B-Instruct（allenai）是 AI Hashrate 收录的13.7B 参数开放权重模型。按 8K 上下文估算：Q4 约需 11.28 GB VRAM（权重 7.54 GB + KV 2.74 GB + 开销 1 GB），FP16 约需 31.14 GB。在该上下文假设下，目录中约有 52 款 GPU/加速器能在 Q4 下完整装下此模型。 Q4 最快配置：B200 192GB SXM ≈ 371.6 tok/s（估算）; MI300X 192GB ≈ 246.2 tok/s（估算）; H200 141GB SXM5 ≈ 223.0 tok/s（估算）; H100 80GB SXM5 ≈ 155.6 tok/s（估算）; Gaudi 3 128GB ≈ 152.2 tok/s（估算）。下表给出各硬件的 VRAM 装机情况与每美元 tok/s（按 MSRP 标价）。估算基于显存带宽公式；有实测时以实测为准。详见方法论页。方法论.

122 个硬件配置——按 tok/s 排序。默认装机上下文 8K。

硬件	VRAM	量化	tok/s	装得下？	tok/s/$
B200 192GB SXM	192	Q4	371.6 估算	是	0.009
MI300X 192GB	192	Q4	246.2 估算	是	0.016
H200 141GB SXM5	141	Q4	223.0 估算	是	0.006
H100 80GB SXM5	80	Q4	155.6 估算	是	0.005
Gaudi 3 128GB	128	Q4	152.2 估算	是	0.012
B200 192GB SXM	192	FP16	102.2 估算	是	0.003
A100 80GB SXM4	80	Q4	94.7 估算	是	0.006
RTX 5090 32GB	32	Q4	83.2 估算	是	0.042
RTX 3080 10GB	10	Q4	78.9 估算	否	0.113
MI300X 192GB	192	FP16	67.7 估算	是	0.005
H200 141GB SXM5	141	FP16	61.3 估算	是	0.002
RTX 4090 24GB	24	Q4	46.8 估算	是	0.029
RTX 4090D 24GB (China)	24	Q4	46.8 估算	是	0.029
RTX 3090 Ti 24GB	24	Q4	46.8 估算	是	0.023
RTX 5080 16GB	16	Q4	44.6 估算	是	0.045
RX 7900 XTX 24GB	24	Q4	44.6 估算	是	0.045
RTX 6000 Ada 48GB	48	Q4	44.6 估算	是	0.007
RTX 3090 24GB	24	Q4	43.5 估算	是	0.029
H100 80GB SXM5	80	FP16	42.8 估算	是	0.001
Gaudi 3 128GB	128	FP16	41.8 估算	是	0.003
RTX 5070 Ti 16GB	16	Q4	41.6 估算	是	0.056
L40S 48GB	48	Q4	40.1 估算	是	0.005
Arc B570 10GB	10	Q4	39.4 估算	否	0.18
Mac Studio M3 Ultra 96GB	96	Q4	38.0 估算	是	0.01
Mac Studio M2 Ultra 192GB	192	Q4	37.2 估算	是	0.005
RX 7900 XT 20GB	20	Q4	37.2 估算	是	0.041
RTX A6000 48GB	48	Q4	35.7 估算	是	0.008
RTX 4080 Super 16GB	16	Q4	34.2 估算	是	0.034
RTX 4070 Ti Super 16GB	16	Q4	31.2 估算	是	0.039
RTX 5070 12GB	12	Q4	31.2 估算	是	0.057
Titan V 12GB	12	Q4	30.3 估算	是	0.01
RTX 5060 8GB	8	Q4	29.7 估算	否	0.099
RTX 5060 Ti 8GB	8	Q4	29.7 估算	否	0.078
RTX 3070 8GB	8	Q4	29.7 估算	否	0.06
RX 9070 16GB	16	Q4	29.7 估算	是	0.054
RX 9070 XT 16GB	16	Q4	29.7 估算	是	0.05
RX 7800 XT 16GB	16	Q4	29.0 估算	是	0.058
Arc Pro B70 32GB	32	Q4	28.2 估算	是	0.028
RX 7900 GRE 16GB	16	Q4	26.8 估算	是	0.049
A100 80GB SXM4	80	FP16	26.0 估算	是	0.002
Arc A770 16GB	16	Q4	26.0 估算	是	0.074
RTX 4070 Ti 12GB	12	Q4	25.7 估算	是	0.032
Titan Xp 12GB	12	Q4	25.5 估算	是	0.021
MacBook Pro M4 Max 128GB	128	Q4	25.4 估算	是	0.006
RTX 4070 12GB	12	Q4	23.4 估算	是	0.039
RTX 4070 Super 12GB	12	Q4	23.4 估算	是	0.039
DGX Spark (GH200 480GB)	480	Q4	23.2 估算	是	0.008
RTX 5090 32GB	32	FP16	22.9 估算	是	0.011
Titan X Pascal 12GB	12	Q4	22.3 估算	是	0.019
RTX 4090 24GB	24	FP16	21.8 估算	否	0.014
RTX 4090D 24GB (China)	24	FP16	21.8 估算	否	0.014
RTX 3090 Ti 24GB	24	FP16	21.8 估算	否	0.011
Arc B580 12GB	12	Q4	21.2 估算	是	0.085
RX 7900 XTX 24GB	24	FP16	20.8 估算	否	0.021
RTX 5060 Ti 16GB	16	Q4	20.8 估算	是	0.048
RTX 3090 24GB	24	FP16	20.2 估算	否	0.013
RX 7700 XT 12GB	12	Q4	20.1 估算	是	0.045
RTX 4060 Ti 8GB	8	Q4	19.1 估算	否	0.048
RX 7600 8GB	8	Q4	19.1 估算	否	0.071
MacBook Pro M1 Max 32GB	32	Q4	18.6 估算	是	0.006
MacBook Pro M1 Max 64GB	64	Q4	18.6 估算	是	0.005
MacBook Pro M3 Max 128GB	128	Q4	18.6 估算	是	0.004
RTX 4060 8GB	8	Q4	18.0 估算	否	0.06
RTX 3060 12GB	12	Q4	16.7 估算	是	0.051
T4 16GB	16	Q4	14.9 估算	是	0.007
RTX 4060 Ti 16GB	16	Q4	13.4 估算	是	0.027
RX 7600 XT 16GB	16	Q4	13.4 估算	是	0.041
Tesla P4 8GB	8	Q4	12.7 估算	否	0.159
Mac mini M4 Pro 64GB	64	Q4	12.7 估算	是	0.006
RTX 6000 Ada 48GB	48	FP16	12.3 估算	是	0.002
RX 7900 XT 20GB	20	FP16	12.0 估算	否	0.013
L40S 48GB	48	FP16	11.0 估算	是	0.001
Mac Studio M3 Ultra 96GB	96	FP16	10.5 估算	是	0.003
Mac Studio M2 Ultra 192GB	192	FP16	10.2 估算	是	0.001
Ryzen AI Max+ 395 128GB	96	Q4	10.0 估算	是	0.005
Ryzen AI Max+ 395 64GB	48	Q4	10.0 估算	是	0.007
Ryzen AI Max 390 64GB	48	Q4	10.0 估算	是	0.008
RTX A6000 48GB	48	FP16	9.8 估算	是	0.002
RTX 5080 16GB	16	FP16	9.2 估算	否	0.009
RTX 5070 Ti 16GB	16	FP16	8.6 估算	否	0.011
Arc Pro B70 32GB	32	FP16	7.8 估算	是	0.008
RTX 4080 Super 16GB	16	FP16	7.1 估算	否	0.007
MacBook Pro M4 Max 128GB	128	FP16	7.0 估算	是	0.002
RTX 4070 Ti Super 16GB	16	FP16	6.5 估算	否	0.008
DGX Spark (GH200 480GB)	480	FP16	6.4 估算	是	0.002
RX 9070 16GB	16	FP16	6.1 估算	否	0.011
RX 9070 XT 16GB	16	FP16	6.1 估算	否	0.01
RX 7800 XT 16GB	16	FP16	6.0 估算	否	0.012
Mac mini M4 32GB	32	Q4	5.6 估算	是	0.006
RX 7900 GRE 16GB	16	FP16	5.5 估算	否	0.01
Arc A770 16GB	16	FP16	5.4 估算	否	0.015
MacBook Pro M1 Max 32GB	32	FP16	5.1 估算	是	0.002
MacBook Pro M1 Max 64GB	64	FP16	5.1 估算	是	0.001
MacBook Pro M3 Max 128GB	128	FP16	5.1 估算	是	0.001
RTX 5060 Ti 16GB	16	FP16	4.3 估算	否	0.01
RTX 5070 12GB	12	FP16	3.6 估算	否	0.007
Titan V 12GB	12	FP16	3.5 估算	否	0.001
Mac mini M4 Pro 64GB	64	FP16	3.5 估算	是	0.002
T4 16GB	16	FP16	3.1 估算	否	0.002
RTX 4070 Ti 12GB	12	FP16	3.0 估算	否	0.004
Titan Xp 12GB	12	FP16	3.0 估算	否	0.003
RTX 3080 10GB	10	FP16	2.8 估算	否	0.004
RTX 4060 Ti 16GB	16	FP16	2.8 估算	否	0.006
RX 7600 XT 16GB	16	FP16	2.8 估算	否	0.009
RTX 4070 12GB	12	FP16	2.7 估算	否	0.005
RTX 4070 Super 12GB	12	FP16	2.7 估算	否	0.005
Ryzen AI Max+ 395 128GB	96	FP16	2.7 估算	是	0.001
Ryzen AI Max+ 395 64GB	48	FP16	2.7 估算	是	0.002
Ryzen AI Max 390 64GB	48	FP16	2.7 估算	是	0.002
Titan X Pascal 12GB	12	FP16	2.6 估算	否	0.002
Arc B580 12GB	12	FP16	2.5 估算	否	0.01
RX 7700 XT 12GB	12	FP16	2.3 估算	否	0.005
RTX 3060 12GB	12	FP16	1.9 估算	否	0.006
Mac mini M4 32GB	32	FP16	1.5 估算	是	0.002
Arc B570 10GB	10	FP16	1.4 估算	否	0.006
RTX 5060 8GB	8	FP16	1.1 估算	否	0.004
RTX 5060 Ti 8GB	8	FP16	1.1 估算	否	0.003
RTX 3070 8GB	8	FP16	1.1 估算	否	0.002
RTX 4060 8GB	8	FP16	0.7 估算	否	0.002
RTX 4060 Ti 8GB	8	FP16	0.7 估算	否	0.002
RX 7600 8GB	8	FP16	0.7 估算	否	0.003
Tesla P4 8GB	8	FP16	0.5 估算	否	0.006

装机核对

RTX 5090 32GB — 装得下 · ≈83.2 tok/s Q4 估算
RTX 3090 Ti 24GB — 装得下 · ≈46.8 tok/s Q4 估算
RTX 4090 24GB — 装得下 · ≈46.8 tok/s Q4 估算
RTX 5080 16GB — 装得下 · ≈44.6 tok/s Q4 估算
RTX 6000 Ada 48GB — 装得下 · ≈44.6 tok/s Q4 估算
RX 7900 XTX 24GB — 装得下 · ≈44.6 tok/s Q4 估算
RTX 3090 24GB — 装得下 · ≈43.5 tok/s Q4 估算
RTX 5070 Ti 16GB — 装得下 · ≈41.6 tok/s Q4 估算
L40S 48GB — 装得下 · ≈40.1 tok/s Q4 估算
Mac Studio M3 Ultra 96GB — 装得下 · ≈38.0 tok/s Q4 估算
Mac Studio M2 Ultra 192GB — 装得下 · ≈37.2 tok/s Q4 估算
RX 7900 XT 20GB — 装得下 · ≈37.2 tok/s Q4 估算

12 款热门零售 GPU；上表每行的「装得下？」结论同样链接到完整装机核对页。