Solar Open 2 — 哪些 GPU 装得下

Upstage · 250.0B（激活 15.0B） · MoE · ctx 1024K · upstage-solar · HuggingFace

Solar Open 2（Upstage）是 AI Hashrate 收录的250.0B 参数 MoE（每 token 激活 15.0B）开放权重模型。按 8K 上下文估算：Q4 约需 138.88 GB VRAM（权重 137.5 GB + KV 0.38 GB + 开销 1 GB），FP16 约需 501.38 GB。在该上下文假设下，目录中约有 5 款 GPU/加速器能在 Q4 下完整装下此模型。 Q4 最快配置：B200 192GB SXM ≈ 510.3 tok/s（估算）; MI300X 192GB ≈ 333.6 tok/s（估算）; H200 141GB SXM5 ≈ 306.2 tok/s（估算）; DGX Spark (GH200 480GB) ≈ 30.9 tok/s（估算）; Mac Studio M2 Ultra 192GB ≈ 30.0 tok/s（估算）。下表给出各硬件的 VRAM 装机情况与每美元 tok/s（按 MSRP 标价）。估算基于显存带宽公式；有实测时以实测为准。详见方法论页。方法论.

25 个硬件配置——按 tok/s 排序。默认装机上下文 8K。

硬件	VRAM	量化	tok/s	装得下？	tok/s/$
B200 192GB SXM	192	Q4	510.3 估算	是	0.013
Gaudi 3 128GB	128	Q4	334.8 估算	否	0.027
MI300X 192GB	192	Q4	333.6 估算	是	0.022
H200 141GB SXM5	141	Q4	306.2 估算	临界	0.009
H100 80GB SXM5	80	Q4	134.7 估算	否	0.004
A100 80GB SXM4	80	Q4	82.0 估算	否	0.005
B200 192GB SXM	192	FP16	39.1 估算	否	0.001
MacBook Pro M4 Max 128GB	128	Q4	31.8 估算	否	0.007
DGX Spark (GH200 480GB)	480	Q4	30.9 估算	是	0.01
Mac Studio M2 Ultra 192GB	192	Q4	30.0 估算	临界	0.004
Mac Studio M3 Ultra 96GB	96	Q4	29.0 估算	否	0.007
MI300X 192GB	192	FP16	25.9 估算	否	0.002
MacBook Pro M3 Max 128GB	128	Q4	23.3 估算	否	0.006
RTX 6000 Ada 48GB	48	Q4	13.9 估算	否	0.002
H200 141GB SXM5	141	FP16	12.6 估算	否	0.0
L40S 48GB	48	Q4	12.5 估算	否	0.002
RTX A6000 48GB	48	Q4	11.1 估算	否	0.002
DGX Spark (GH200 480GB)	480	FP16	9.8 估算	否	0.003
Gaudi 3 128GB	128	FP16	7.1 估算	否	0.001
Ryzen AI Max+ 395 128GB	96	Q4	7.0 估算	否	0.004
MacBook Pro M1 Max 64GB	64	Q4	5.8 估算	否	0.001
Mac mini M4 Pro 64GB	64	Q4	3.5 估算	否	0.002
Mac Studio M2 Ultra 192GB	192	FP16	2.4 估算	否	0.0
Ryzen AI Max+ 395 64GB	48	Q4	1.7 估算	否	0.001
Ryzen AI Max 390 64GB	48	Q4	1.7 估算	否	0.001

装机核对

RTX 6000 Ada 48GB — 装不下 · ≈13.9 tok/s Q4 估算
L40S 48GB — 装不下 · ≈12.5 tok/s Q4 估算
Mac Studio M3 Ultra 96GB — 装不下 · ≈29.0 tok/s Q4 估算
Mac Studio M2 Ultra 192GB — 装得下 · ≈30.0 tok/s Q4 估算

12 款热门零售 GPU；上表每行的「装得下？」结论同样链接到完整装机核对页。

同族模型：Upstage（云尘）

全部 Upstage（云尘）模型 →