Llama-3.1-8B-Instruct

Meta · 8.0B · ctx 128K · llama3.1 · HuggingFace

Llama-3.1-8B-Instruct（Meta）是 AI Hashrate 收录的8.0B 参数开放权重模型。 按 8K 上下文估算：Q4 约需 7.0 GB VRAM（权重 4.4 GB + KV 1.6 GB + 开销 1 GB），FP16 约需 18.6 GB。 在该上下文假设下，目录中约有 50 款 GPU/加速器能在 Q4 下完整装下此模型。 Q4 最快配置：B200 192GB SXM ≈ 636.4 tok/s（估算）; MI300X 192GB ≈ 421.6 tok/s（估算）; H200 141GB SXM5 ≈ 381.8 tok/s（估算）; H100 80GB SXM5 ≈ 266.5 tok/s（估算）; Gaudi 3 128GB ≈ 260.6 tok/s（估算）。 下表给出各硬件的 VRAM 装机情况与每美元 tok/s（按 MSRP 标价）。估算基于显存带宽公式；有实测时以实测为准。详见方法论页。 方法论.

100 个硬件配置——按 tok/s 排序。默认装机上下文 8K。

硬件	VRAM	量化	tok/s	装得下？	tok/s/$
B200 192GB SXM	192	Q4	636.4 估算	是	0.016
MI300X 192GB	192	Q4	421.6 估算	是	0.028
H200 141GB SXM5	141	Q4	381.8 估算	是	0.011
H100 80GB SXM5	80	FP16	350.0 实测	是	0.012
MI300X 192GB	192	FP16	320.0 实测	是	0.021
H100 80GB SXM5	80	Q4	266.5 估算	是	0.009
Gaudi 3 128GB	128	Q4	260.6 估算	是	0.021
RTX 5090 32GB	32	Q4	214.3 实测	是	0.107
A100 80GB SXM4	80	FP16	180.0 实测	是	0.012
B200 192GB SXM	192	FP16	175.0 估算	是	0.004
A100 80GB SXM4	80	Q4	162.2 估算	是	0.011
RTX 4090 24GB	24	Q4	145.0 实测	是	0.091
RTX 6000 Ada 48GB	48	Q4	138.6 实测	是	0.02
RTX 5080 16GB	16	Q4	136.2 实测	是	0.136
RTX 5070 Ti 16GB	16	Q4	131.9 实测	是	0.176
H200 141GB SXM5	141	FP16	105.0 估算	是	0.003
RTX 5070 12GB	12	Q4	100.4 实测	是	0.183
RTX 4070 Ti Super 16GB	16	Q4	95.0 实测	是	0.119
RTX 3090 24GB	24	Q4	92.0 实测	是	0.061
RX 9070 XT 16GB	16	Q4	89.1 实测	是	0.149
RX 9070 16GB	16	Q4	87.6 实测	是	0.16
RTX 4090D 24GB (China)	24	Q4	80.2 估算	是	0.05
RTX 3090 Ti 24GB	24	Q4	80.2 估算	是	0.04
RTX 5060 Ti 16GB	16	Q4	74.7 实测	是	0.174
Gaudi 3 128GB	128	FP16	71.7 估算	是	0.006
RTX 3080 10GB	10	Q4	70.0 实测	是	0.1
L40S 48GB	48	Q4	68.7 估算	是	0.009
RX 7800 XT 16GB	16	Q4	68.0 实测	是	0.136
Mac Studio M3 Ultra 96GB	96	Q4	65.1 估算	是	0.016
RX 7900 XTX 24GB	24	Q4	65.0 实测	是	0.065
Mac Studio M2 Ultra 192GB	192	Q4	63.6 估算	是	0.009
RX 7900 XT 20GB	20	Q4	63.6 估算	是	0.071
RTX A6000 48GB	48	Q4	61.1 估算	是	0.014
RTX 4080 Super 16GB	16	Q4	58.0 实测	是	0.058
RTX 4070 12GB	12	Q4	52.1 实测	是	0.087
RTX 4060 Ti 16GB	16	Q4	50.0 实测	是	0.1
RX 7900 GRE 16GB	16	Q4	45.8 估算	是	0.083
Arc A770 16GB	16	Q4	44.5 估算	是	0.128
RTX 5080 16GB	16	FP16	44.4 估算	否	0.044
RTX 4070 Ti 12GB	12	Q4	44.1 估算	是	0.055
MacBook Pro M4 Max 128GB	128	Q4	43.4 估算	是	0.01
RTX 3060 12GB	12	Q4	42.0 实测	是	0.128
RTX 5070 Ti 16GB	16	FP16	41.4 估算	否	0.055
RTX 4070 Super 12GB	12	Q4	40.1 估算	是	0.067
RTX 5090 32GB	32	FP16	39.2 估算	是	0.02
Arc B580 12GB	12	Q4	36.3 估算	是	0.146
RTX 5060 8GB	8	Q4	35.6 估算	是	0.119
RTX 5060 Ti 8GB	8	Q4	35.6 估算	是	0.094
RTX 3070 8GB	8	Q4	35.6 估算	是	0.071
MacBook Pro M3 Max 128GB	128	Q4	35.0 实测	是	0.008
RX 7700 XT 12GB	12	Q4	34.4 估算	是	0.077
RTX 4080 Super 16GB	16	FP16	34.0 估算	否	0.034
RTX 4070 Ti Super 16GB	16	FP16	31.1 估算	否	0.039
Arc B570 10GB	10	Q4	30.2 估算	是	0.138
RX 9070 16GB	16	FP16	29.6 估算	否	0.054
RX 9070 XT 16GB	16	FP16	29.6 估算	否	0.049
RX 7800 XT 16GB	16	FP16	28.9 估算	否	0.058
RX 7900 GRE 16GB	16	FP16	26.6 估算	否	0.048
Arc A770 16GB	16	FP16	25.9 估算	否	0.074
T4 16GB	16	Q4	25.5 估算	是	0.013
RTX 4060 Ti 8GB	8	Q4	22.9 估算	是	0.057
RX 7600 8GB	8	Q4	22.9 估算	是	0.085
RX 7600 XT 16GB	16	Q4	22.9 估算	是	0.07
RTX 4090 24GB	24	FP16	22.0 估算	是	0.014
RTX 4090D 24GB (China)	24	FP16	22.0 估算	是	0.014
RTX 3090 Ti 24GB	24	FP16	22.0 估算	是	0.011
Mac mini M4 Pro 64GB	64	Q4	21.7 估算	是	0.01
RTX 4060 8GB	8	Q4	21.6 估算	是	0.072
RX 7900 XTX 24GB	24	FP16	21.0 估算	是	0.021
RTX 6000 Ada 48GB	48	FP16	21.0 估算	是	0.003
Mac mini M4 32GB	32	Q4	21.0 实测	是	0.021
RTX 5060 Ti 16GB	16	FP16	20.7 估算	否	0.048
RTX 3090 24GB	24	FP16	20.5 估算	是	0.014
L40S 48GB	48	FP16	18.9 估算	是	0.002
Mac Studio M3 Ultra 96GB	96	FP16	17.9 估算	是	0.004
Mac Studio M2 Ultra 192GB	192	FP16	17.5 估算	是	0.003
RTX 5070 12GB	12	FP16	17.5 估算	否	0.032
RX 7900 XT 20GB	20	FP16	17.5 估算	是	0.019
RTX A6000 48GB	48	FP16	16.8 估算	是	0.004
T4 16GB	16	FP16	14.8 估算	否	0.007
RTX 4070 Ti 12GB	12	FP16	14.4 估算	否	0.018
RTX 3080 10GB	10	FP16	13.7 估算	否	0.02
RTX 4060 Ti 16GB	16	FP16	13.3 估算	否	0.027
RX 7600 XT 16GB	16	FP16	13.3 估算	否	0.04
RTX 4070 12GB	12	FP16	13.1 估算	否	0.022
RTX 4070 Super 12GB	12	FP16	13.1 估算	否	0.022
MacBook Pro M4 Max 128GB	128	FP16	11.9 估算	是	0.003
Arc B580 12GB	12	FP16	11.9 估算	否	0.048
RX 7700 XT 12GB	12	FP16	11.2 估算	否	0.025
RTX 3060 12GB	12	FP16	9.4 估算	否	0.029
MacBook Pro M3 Max 128GB	128	FP16	8.8 估算	是	0.002
Arc B570 10GB	10	FP16	6.9 估算	否	0.032
Mac mini M4 Pro 64GB	64	FP16	6.0 估算	是	0.003
RTX 5060 8GB	8	FP16	5.2 估算	否	0.017
RTX 5060 Ti 8GB	8	FP16	5.2 估算	否	0.014
RTX 3070 8GB	8	FP16	5.2 估算	否	0.01
RTX 4060 Ti 8GB	8	FP16	3.3 估算	否	0.008
RX 7600 8GB	8	FP16	3.3 估算	否	0.012
RTX 4060 8GB	8	FP16	3.1 估算	否	0.01
Mac mini M4 32GB	32	FP16	2.6 估算	是	0.003

装机核对

• RTX 5090 32GB — 装得下 · ≈214.3 tok/s Q4 实测
• RTX 3090 Ti 24GB — 装得下 · ≈80.2 tok/s Q4 估算
• RTX 4090 24GB — 装得下 · ≈145.0 tok/s Q4 实测
• RTX 5080 16GB — 装得下 · ≈136.2 tok/s Q4 实测
• RTX 6000 Ada 48GB — 装得下 · ≈138.6 tok/s Q4 实测
• RX 7900 XTX 24GB — 装得下 · ≈65.0 tok/s Q4 实测
• RTX 3090 24GB — 装得下 · ≈92.0 tok/s Q4 实测
• RTX 5070 Ti 16GB — 装得下 · ≈131.9 tok/s Q4 实测
• L40S 48GB — 装得下 · ≈68.7 tok/s Q4 估算
• Mac Studio M3 Ultra 96GB — 装得下 · ≈65.1 tok/s Q4 估算
• Mac Studio M2 Ultra 192GB — 装得下 · ≈63.6 tok/s Q4 估算
• RX 7900 XT 20GB — 装得下 · ≈63.6 tok/s Q4 估算

12 款热门零售 GPU；上表每行的「装得下？」结论同样链接到完整装机核对页。

同族模型：Llama

Llama 3.1 Llama-3.1-70B-Instruct
Llama 3.3 Llama-3.3-70B-Instruct
Llama 3.2 Llama-3.2-3B-Instruct
Llama 4 Llama-4-Scout-17B-16E-Instruct

全部 Llama 模型 →