Llama-4-Scout-17B-16E-Instruct

Meta · 109.0B（激活 17.0B） · MoE · ctx 10240K · llama4-community · HuggingFace

Llama-4-Scout-17B-16E-Instruct（Meta）是 AI Hashrate 收录的109.0B 参数 MoE（每 token 激活 17.0B）开放权重模型。 按 8K 上下文估算：Q4 约需 64.35 GB VRAM（权重 59.95 GB + KV 3.4 GB + 开销 1 GB），FP16 约需 222.4 GB。 在该上下文假设下，目录中约有 10 款 GPU/加速器能在 Q4 下完整装下此模型。 Q4 最快配置：B200 192GB SXM ≈ 299.5 tok/s（估算）; MI300X 192GB ≈ 198.4 tok/s（估算）; H200 141GB SXM5 ≈ 179.7 tok/s（估算）; H100 80GB SXM5 ≈ 125.4 tok/s（估算）; Gaudi 3 128GB ≈ 122.6 tok/s（估算）。 下表给出各硬件的 VRAM 装机情况与每美元 tok/s（按 MSRP 标价）。估算基于显存带宽公式；有实测时以实测为准。详见方法论页。 方法论.

33 个硬件配置——按 tok/s 排序。默认装机上下文 8K。

硬件	VRAM	量化	tok/s	装得下？	tok/s/$
B200 192GB SXM	192	Q4	299.5 估算	是	0.007
MI300X 192GB	192	Q4	198.4 估算	是	0.013
H200 141GB SXM5	141	Q4	179.7 估算	是	0.005
B200 192GB SXM	192	FP16	175.4 估算	否	0.004
H100 80GB SXM5	80	Q4	125.4 估算	是	0.004
Gaudi 3 128GB	128	Q4	122.6 估算	是	0.01
MI300X 192GB	192	FP16	116.2 估算	否	0.008
A100 80GB SXM4	80	Q4	76.3 估算	是	0.005
RTX 6000 Ada 48GB	48	Q4	57.1 估算	否	0.008
H200 141GB SXM5	141	FP16	56.7 估算	否	0.002
L40S 48GB	48	Q4	51.4 估算	否	0.006
RTX 5090 32GB	32	Q4	47.4 估算	否	0.024
RTX A6000 48GB	48	Q4	45.7 估算	否	0.01
Gaudi 3 128GB	128	FP16	31.9 估算	否	0.003
Mac Studio M3 Ultra 96GB	96	Q4	30.7 估算	是	0.008
Mac Studio M2 Ultra 192GB	192	Q4	29.9 估算	是	0.004
Mac mini M4 Pro 64GB	64	Q4	28.9 估算	否	0.013
MacBook Pro M4 Max 128GB	128	Q4	20.4 估算	是	0.005
Mac Studio M2 Ultra 192GB	192	FP16	17.5 估算	否	0.003
RTX 4090 24GB	24	Q4	15.0 估算	否	0.009
RTX 4090D 24GB (China)	24	Q4	15.0 估算	否	0.009
MacBook Pro M3 Max 128GB	128	Q4	15.0 估算	是	0.004
RTX 3090 Ti 24GB	24	Q4	15.0 估算	否	0.008
RX 7900 XTX 24GB	24	Q4	14.3 估算	否	0.014
RTX 3090 24GB	24	Q4	13.9 估算	否	0.009
H100 80GB SXM5	80	FP16	12.7 估算	否	0.0
RX 7900 XT 20GB	20	Q4	8.3 估算	否	0.009
A100 80GB SXM4	80	FP16	7.8 估算	否	0.001
MacBook Pro M4 Max 128GB	128	FP16	5.3 估算	否	0.001
Mac Studio M3 Ultra 96GB	96	FP16	4.5 估算	否	0.001
MacBook Pro M3 Max 128GB	128	FP16	3.9 估算	否	0.001
Mac mini M4 32GB	32	Q4	3.2 估算	否	0.003
Mac mini M4 Pro 64GB	64	FP16	0.7 估算	否	0.0

装机核对

• RTX 5090 32GB — 装不下 · ≈47.4 tok/s Q4 估算
• RTX 3090 Ti 24GB — 装不下 · ≈15.0 tok/s Q4 估算
• RTX 4090 24GB — 装不下 · ≈15.0 tok/s Q4 估算
• RTX 6000 Ada 48GB — 装不下 · ≈57.1 tok/s Q4 估算
• RX 7900 XTX 24GB — 装不下 · ≈14.3 tok/s Q4 估算
• RTX 3090 24GB — 装不下 · ≈13.9 tok/s Q4 估算
• L40S 48GB — 装不下 · ≈51.4 tok/s Q4 估算
• Mac Studio M3 Ultra 96GB — 装得下 · ≈30.7 tok/s Q4 估算
• Mac Studio M2 Ultra 192GB — 装得下 · ≈29.9 tok/s Q4 估算
• RX 7900 XT 20GB — 装不下 · ≈8.3 tok/s Q4 估算

12 款热门零售 GPU；上表每行的「装得下？」结论同样链接到完整装机核对页。

同族模型：Llama

Llama 3.1 Llama-3.1-8B-Instruct · Llama-3.1-70B-Instruct
Llama 3.3 Llama-3.3-70B-Instruct
Llama 3.2 Llama-3.2-3B-Instruct

全部 Llama 模型 →