Step-3.5-Flash — 哪些 GPU 装得下

StepFun · 196.8B（激活 11.0B） · MoE · ctx 256K · apache-2.0 · HuggingFace

Step-3.5-Flash（StepFun）是 AI Hashrate 收录的196.8B 参数 MoE（每 token 激活 11.0B）开放权重模型。按 8K 上下文估算：Q4 约需 111.44 GB VRAM（权重 108.24 GB + KV 2.2 GB + 开销 1 GB），FP16 约需 396.8 GB。在该上下文假设下，目录中约有 7 款 GPU/加速器能在 Q4 下完整装下此模型。 Q4 最快配置：B200 192GB SXM ≈ 462.8 tok/s（估算）; MI300X 192GB ≈ 306.6 tok/s（估算）; H200 141GB SXM5 ≈ 277.7 tok/s（估算）; Gaudi 3 128GB ≈ 189.5 tok/s（估算）; Mac Studio M2 Ultra 192GB ≈ 46.3 tok/s（估算）。下表给出各硬件的 VRAM 装机情况与每美元 tok/s（按 MSRP 标价）。估算基于显存带宽公式；有实测时以实测为准。详见方法论页。方法论.

23 个硬件配置——按 tok/s 排序。默认装机上下文 8K。

硬件	VRAM	量化	tok/s	装得下？	tok/s/$
B200 192GB SXM	192	Q4	462.8 估算	是	0.012
MI300X 192GB	192	Q4	306.6 估算	是	0.02
H100 80GB SXM5	80	Q4	285.4 估算	否	0.01
H200 141GB SXM5	141	Q4	277.7 估算	是	0.008
Gaudi 3 128GB	128	Q4	189.5 估算	是	0.015
A100 80GB SXM4	80	Q4	173.7 估算	否	0.012
Mac Studio M3 Ultra 96GB	96	Q4	100.5 估算	否	0.025
B200 192GB SXM	192	FP16	85.1 估算	否	0.002
MI300X 192GB	192	FP16	56.4 估算	否	0.004
Mac Studio M2 Ultra 192GB	192	Q4	46.3 估算	是	0.007
MacBook Pro M4 Max 128GB	128	Q4	31.6 估算	是	0.007
RTX 6000 Ada 48GB	48	Q4	29.4 估算	否	0.004
H200 141GB SXM5	141	FP16	27.5 估算	否	0.001
L40S 48GB	48	Q4	26.5 估算	否	0.003
RTX 5090 32GB	32	Q4	24.4 估算	否	0.012
RTX A6000 48GB	48	Q4	23.6 估算	否	0.005
MacBook Pro M3 Max 128GB	128	Q4	23.1 估算	是	0.006
Gaudi 3 128GB	128	FP16	15.5 估算	否	0.001
Mac mini M4 Pro 64GB	64	Q4	14.9 估算	否	0.007
Mac Studio M2 Ultra 192GB	192	FP16	8.5 估算	否	0.001
MacBook Pro M4 Max 128GB	128	FP16	2.6 估算	否	0.001
MacBook Pro M3 Max 128GB	128	FP16	1.9 估算	否	0.0
Mac mini M4 32GB	32	Q4	1.6 估算	否	0.002

装机核对

RTX 5090 32GB — 装不下 · ≈24.4 tok/s Q4 估算
RTX 6000 Ada 48GB — 装不下 · ≈29.4 tok/s Q4 估算
L40S 48GB — 装不下 · ≈26.5 tok/s Q4 估算
Mac Studio M3 Ultra 96GB — 装不下 · ≈100.5 tok/s Q4 估算
Mac Studio M2 Ultra 192GB — 装得下 · ≈46.3 tok/s Q4 估算

12 款热门零售 GPU；上表每行的「装得下？」结论同样链接到完整装机核对页。

同族模型：Step（阶跃星辰）

全部 Step（阶跃星辰）模型 →