Llama-3.2-3B-Instruct

Meta · 3.2B · ctx 128K · llama3.2 · HuggingFace

Llama-3.2-3B-Instruct（Meta）是 AI Hashrate 收录的3.2B 参数开放权重模型。 按 8K 上下文估算：Q4 约需 3.4 GB VRAM（权重 1.76 GB + KV 0.64 GB + 开销 1 GB），FP16 约需 8.04 GB。 在该上下文假设下，目录中约有 50 款 GPU/加速器能在 Q4 下完整装下此模型。 Q4 最快配置：B200 192GB SXM ≈ 1590.9 tok/s（估算）; MI300X 192GB ≈ 1054.0 tok/s（估算）; H200 141GB SXM5 ≈ 954.5 tok/s（估算）; H100 80GB SXM5 ≈ 666.2 tok/s（估算）; Gaudi 3 128GB ≈ 651.5 tok/s（估算）。 下表给出各硬件的 VRAM 装机情况与每美元 tok/s（按 MSRP 标价）。估算基于显存带宽公式；有实测时以实测为准。详见方法论页。 方法论.

100 个硬件配置——按 tok/s 排序。默认装机上下文 8K。

硬件	VRAM	量化	tok/s	装得下？	tok/s/$
B200 192GB SXM	192	Q4	1590.9 估算	是	0.04
MI300X 192GB	192	Q4	1054.0 估算	是	0.07
H200 141GB SXM5	141	Q4	954.5 估算	是	0.027
H100 80GB SXM5	80	Q4	666.2 估算	是	0.022
Gaudi 3 128GB	128	Q4	651.5 估算	是	0.052
B200 192GB SXM	192	FP16	437.5 估算	是	0.011
A100 80GB SXM4	80	Q4	405.5 估算	是	0.027
RTX 5090 32GB	32	Q4	356.4 估算	是	0.178
MI300X 192GB	192	FP16	289.8 估算	是	0.019
H200 141GB SXM5	141	FP16	262.5 估算	是	0.007
RTX 4090 24GB	24	Q4	200.5 估算	是	0.125
RTX 4090D 24GB (China)	24	Q4	200.5 估算	是	0.125
RTX 3090 Ti 24GB	24	Q4	200.5 估算	是	0.1
RTX 4070 Ti Super 16GB	16	Q4	199.0 实测	是	0.249
RTX 5080 16GB	16	Q4	190.9 估算	是	0.191
RX 7900 XTX 24GB	24	Q4	190.9 估算	是	0.191
RTX 6000 Ada 48GB	48	Q4	190.9 估算	是	0.028
RTX 3090 24GB	24	Q4	186.1 估算	是	0.124
H100 80GB SXM5	80	FP16	183.2 估算	是	0.006
Gaudi 3 128GB	128	FP16	179.2 估算	是	0.014
RTX 5070 Ti 16GB	16	Q4	178.2 估算	是	0.238
L40S 48GB	48	Q4	171.8 估算	是	0.021
RTX 4070 12GB	12	Q4	160.7 实测	是	0.268
Mac Studio M2 Ultra 192GB	192	Q4	159.1 估算	是	0.023
Mac Studio M3 Ultra 96GB	96	Q4	154.6 实测	是	0.039
RTX A6000 48GB	48	Q4	152.7 估算	是	0.034
RTX 3080 10GB	10	Q4	151.1 估算	是	0.216
RTX 4080 Super 16GB	16	Q4	146.4 估算	是	0.147
RTX 5070 12GB	12	Q4	133.6 估算	是	0.243
RX 7900 XT 20GB	20	Q4	131.2 实测	是	0.146
RX 9070 16GB	16	Q4	127.3 估算	是	0.232
RX 7800 XT 16GB	16	Q4	124.1 估算	是	0.249
RTX 3060 12GB	12	Q4	122.9 实测	是	0.374
RX 7900 GRE 16GB	16	Q4	114.5 估算	是	0.209
A100 80GB SXM4	80	FP16	111.5 估算	是	0.007
Arc A770 16GB	16	Q4	111.4 估算	是	0.319
RTX 4070 Ti 12GB	12	Q4	110.2 估算	是	0.138
MacBook Pro M4 Max 128GB	128	Q4	108.6 估算	是	0.025
RTX 4070 Super 12GB	12	Q4	100.2 估算	是	0.167
RTX 5090 32GB	32	FP16	98.0 估算	是	0.049
RX 9070 XT 16GB	16	Q4	89.6 实测	是	0.15
RTX 5060 8GB	8	Q4	89.1 估算	是	0.298
RTX 5060 Ti 8GB	8	Q4	89.1 估算	是	0.235
RTX 5060 Ti 16GB	16	Q4	89.1 估算	是	0.208
RTX 3070 8GB	8	Q4	89.1 估算	是	0.179
RX 7700 XT 12GB	12	Q4	85.9 估算	是	0.191
MacBook Pro M3 Max 128GB	128	Q4	79.5 估算	是	0.019
Arc B570 10GB	10	Q4	75.6 估算	是	0.345
RTX 5060 8GB	8	FP16	69.3 估算	否	0.232
RTX 5060 Ti 8GB	8	FP16	69.3 估算	否	0.183
RTX 3070 8GB	8	FP16	69.3 估算	否	0.139
T4 16GB	16	Q4	63.6 估算	是	0.032
RTX 4060 Ti 8GB	8	Q4	57.3 估算	是	0.144
RTX 4060 Ti 16GB	16	Q4	57.3 估算	是	0.115
RX 7600 XT 16GB	16	Q4	57.3 估算	是	0.174
RTX 4090 24GB	24	FP16	55.1 估算	是	0.034
RTX 4090D 24GB (China)	24	FP16	55.1 估算	是	0.034
RTX 3090 Ti 24GB	24	FP16	55.1 估算	是	0.028
Mac mini M4 Pro 64GB	64	Q4	54.3 估算	是	0.025
RTX 4060 8GB	8	Q4	54.1 估算	是	0.181
RTX 5080 16GB	16	FP16	52.5 估算	是	0.053
RX 7900 XTX 24GB	24	FP16	52.5 估算	是	0.053
RTX 6000 Ada 48GB	48	FP16	52.5 估算	是	0.008
RTX 3090 24GB	24	FP16	51.2 估算	是	0.034
RTX 5070 Ti 16GB	16	FP16	49.0 估算	是	0.065
RX 7600 8GB	8	Q4	48.5 实测	是	0.18
Arc B580 12GB	12	Q4	47.4 实测	是	0.19
L40S 48GB	48	FP16	47.2 估算	是	0.006
Mac Studio M3 Ultra 96GB	96	FP16	44.8 估算	是	0.011
RTX 4060 Ti 8GB	8	FP16	44.6 估算	否	0.112
RX 7600 8GB	8	FP16	44.6 估算	否	0.166
Mac Studio M2 Ultra 192GB	192	FP16	43.8 估算	是	0.006
RX 7900 XT 20GB	20	FP16	43.8 估算	是	0.049
RTX 4060 8GB	8	FP16	42.1 估算	否	0.141
RTX A6000 48GB	48	FP16	42.0 估算	是	0.009
RTX 3080 10GB	10	FP16	41.6 估算	是	0.06
Mac mini M4 32GB	32	Q4	41.3 实测	是	0.041
RTX 4080 Super 16GB	16	FP16	40.2 估算	是	0.04
RTX 4070 Ti Super 16GB	16	FP16	36.8 估算	是	0.046
RTX 5070 12GB	12	FP16	36.8 估算	是	0.067
RX 9070 16GB	16	FP16	35.0 估算	是	0.064
RX 9070 XT 16GB	16	FP16	35.0 估算	是	0.058
RX 7800 XT 16GB	16	FP16	34.1 估算	是	0.068
RX 7900 GRE 16GB	16	FP16	31.5 估算	是	0.057
Arc A770 16GB	16	FP16	30.6 估算	是	0.088
RTX 4070 Ti 12GB	12	FP16	30.3 估算	是	0.038
MacBook Pro M4 Max 128GB	128	FP16	29.9 估算	是	0.007
RTX 4070 12GB	12	FP16	27.6 估算	是	0.046
RTX 4070 Super 12GB	12	FP16	27.6 估算	是	0.046
Arc B580 12GB	12	FP16	24.9 估算	是	0.1
RTX 5060 Ti 16GB	16	FP16	24.5 估算	是	0.057
RX 7700 XT 12GB	12	FP16	23.6 估算	是	0.053
MacBook Pro M3 Max 128GB	128	FP16	21.9 估算	是	0.005
Arc B570 10GB	10	FP16	20.8 估算	是	0.095
RTX 3060 12GB	12	FP16	19.7 估算	是	0.06
T4 16GB	16	FP16	17.5 估算	是	0.009
RTX 4060 Ti 16GB	16	FP16	15.7 估算	是	0.031
RX 7600 XT 16GB	16	FP16	15.7 估算	是	0.048
Mac mini M4 Pro 64GB	64	FP16	14.9 估算	是	0.007
Mac mini M4 32GB	32	FP16	6.6 估算	是	0.007

装机核对

• RTX 5090 32GB — 装得下 · ≈356.4 tok/s Q4 估算
• RTX 3090 Ti 24GB — 装得下 · ≈200.5 tok/s Q4 估算
• RTX 4090 24GB — 装得下 · ≈200.5 tok/s Q4 估算
• RTX 5080 16GB — 装得下 · ≈190.9 tok/s Q4 估算
• RTX 6000 Ada 48GB — 装得下 · ≈190.9 tok/s Q4 估算
• RX 7900 XTX 24GB — 装得下 · ≈190.9 tok/s Q4 估算
• RTX 3090 24GB — 装得下 · ≈186.1 tok/s Q4 估算
• RTX 5070 Ti 16GB — 装得下 · ≈178.2 tok/s Q4 估算
• L40S 48GB — 装得下 · ≈171.8 tok/s Q4 估算
• Mac Studio M3 Ultra 96GB — 装得下 · ≈154.6 tok/s Q4 实测
• Mac Studio M2 Ultra 192GB — 装得下 · ≈159.1 tok/s Q4 估算
• RX 7900 XT 20GB — 装得下 · ≈131.2 tok/s Q4 实测

12 款热门零售 GPU；上表每行的「装得下？」结论同样链接到完整装机核对页。

同族模型：Llama

Llama 3.1 Llama-3.1-8B-Instruct · Llama-3.1-70B-Instruct
Llama 3.3 Llama-3.3-70B-Instruct
Llama 4 Llama-4-Scout-17B-16E-Instruct

全部 Llama 模型 →