gpt-oss-120b

OpenAI · 120.4B（激活 5.1B） · MoE · ctx 128K · Apache 2.0 · HuggingFace

gpt-oss-120b（OpenAI）是 AI Hashrate 收录的120.4B 参数 MoE（每 token 激活 5.1B）开放权重模型。 按 8K 上下文估算：Q4 约需 68.24 GB VRAM（权重 66.22 GB + KV 1.02 GB + 开销 1 GB），FP16 约需 242.82 GB。 在该上下文假设下，目录中约有 10 款 GPU/加速器能在 Q4 下完整装下此模型。 Q4 最快配置：B200 192GB SXM ≈ 998.2 tok/s（估算）; MI300X 192GB ≈ 661.3 tok/s（估算）; H200 141GB SXM5 ≈ 598.9 tok/s（估算）; H100 80GB SXM5 ≈ 418.0 tok/s（估算）; Gaudi 3 128GB ≈ 408.8 tok/s（估算）。 下表给出各硬件的 VRAM 装机情况与每美元 tok/s（按 MSRP 标价）。估算基于显存带宽公式；有实测时以实测为准。详见方法论页。 方法论.

33 个硬件配置——按 tok/s 排序。默认装机上下文 8K。

硬件	VRAM	量化	tok/s	装得下？	tok/s/$
B200 192GB SXM	192	Q4	998.2 估算	是	0.025
MI300X 192GB	192	Q4	661.3 估算	是	0.044
H200 141GB SXM5	141	Q4	598.9 估算	是	0.017
B200 192GB SXM	192	FP16	490.4 估算	否	0.012
H100 80GB SXM5	80	Q4	418.0 估算	是	0.014
Gaudi 3 128GB	128	Q4	408.8 估算	是	0.033
MI300X 192GB	192	FP16	324.9 估算	否	0.022
A100 80GB SXM4	80	Q4	254.4 估算	是	0.017
RTX 6000 Ada 48GB	48	Q4	169.3 估算	否	0.025
H200 141GB SXM5	141	FP16	158.7 估算	否	0.005
L40S 48GB	48	Q4	152.4 估算	否	0.019
RTX A6000 48GB	48	Q4	135.5 估算	否	0.03
Mac Studio M3 Ultra 96GB	96	Q4	102.2 估算	是	0.026
Gaudi 3 128GB	128	FP16	89.2 估算	否	0.007
Mac mini M4 Pro 64GB	64	Q4	85.6 估算	否	0.039
Mac Studio M2 Ultra 192GB	192	Q4	79.7 实测	是	0.011
MacBook Pro M4 Max 128GB	128	Q4	68.1 估算	是	0.015
MacBook Pro M3 Max 128GB	128	Q4	49.9 估算	是	0.012
Mac Studio M2 Ultra 192GB	192	FP16	49.0 估算	否	0.007
RTX 4090 24GB	24	Q4	44.5 估算	否	0.028
RTX 4090D 24GB (China)	24	Q4	44.5 估算	否	0.028
RTX 3090 Ti 24GB	24	Q4	44.5 估算	否	0.022
RX 7900 XTX 24GB	24	Q4	42.3 估算	否	0.042
RTX 3090 24GB	24	Q4	41.3 估算	否	0.028
H100 80GB SXM5	80	FP16	35.6 估算	否	0.001
RX 7900 XT 20GB	20	Q4	24.5 估算	否	0.027
A100 80GB SXM4	80	FP16	21.7 估算	否	0.001
RTX 5090 32GB	32	Q4	20.0 实测	否	0.01
MacBook Pro M4 Max 128GB	128	FP16	14.9 估算	否	0.003
Mac Studio M3 Ultra 96GB	96	FP16	12.6 估算	否	0.003
MacBook Pro M3 Max 128GB	128	FP16	10.9 估算	否	0.003
Mac mini M4 32GB	32	Q4	9.4 估算	否	0.009
Mac mini M4 Pro 64GB	64	FP16	1.9 估算	否	0.001

装机核对

• RTX 5090 32GB — 装不下 · ≈20.0 tok/s Q4 实测
• RTX 3090 Ti 24GB — 装不下 · ≈44.5 tok/s Q4 估算
• RTX 4090 24GB — 装不下 · ≈44.5 tok/s Q4 估算
• RTX 6000 Ada 48GB — 装不下 · ≈169.3 tok/s Q4 估算
• RX 7900 XTX 24GB — 装不下 · ≈42.3 tok/s Q4 估算
• RTX 3090 24GB — 装不下 · ≈41.3 tok/s Q4 估算
• L40S 48GB — 装不下 · ≈152.4 tok/s Q4 估算
• Mac Studio M3 Ultra 96GB — 装得下 · ≈102.2 tok/s Q4 估算
• Mac Studio M2 Ultra 192GB — 装得下 · ≈79.7 tok/s Q4 实测
• RX 7900 XT 20GB — 装不下 · ≈24.5 tok/s Q4 估算

12 款热门零售 GPU；上表每行的「装得下？」结论同样链接到完整装机核对页。

同族模型：gpt-oss

gpt-oss gpt-oss-20b

全部 gpt-oss 模型 →