Qwen3-4B-Instruct-2507

Alibaba · 4.0B · ctx 256K · Apache 2.0 · HuggingFace

Qwen3-4B-Instruct-2507（Alibaba）是 AI Hashrate 收录的4.0B 参数开放权重模型。 按 8K 上下文估算：Q4 约需 4.0 GB VRAM（权重 2.2 GB + KV 0.8 GB + 开销 1 GB），FP16 约需 9.8 GB。 在该上下文假设下，目录中约有 50 款 GPU/加速器能在 Q4 下完整装下此模型。 Q4 最快配置：B200 192GB SXM ≈ 1272.7 tok/s（估算）; MI300X 192GB ≈ 843.2 tok/s（估算）; H200 141GB SXM5 ≈ 763.6 tok/s（估算）; H100 80GB SXM5 ≈ 533.0 tok/s（估算）; Gaudi 3 128GB ≈ 521.2 tok/s（估算）。 下表给出各硬件的 VRAM 装机情况与每美元 tok/s（按 MSRP 标价）。估算基于显存带宽公式；有实测时以实测为准。详见方法论页。 方法论.

100 个硬件配置——按 tok/s 排序。默认装机上下文 8K。

硬件	VRAM	量化	tok/s	装得下？	tok/s/$
B200 192GB SXM	192	Q4	1272.7 估算	是	0.032
MI300X 192GB	192	Q4	843.2 估算	是	0.056
H200 141GB SXM5	141	Q4	763.6 估算	是	0.022
H100 80GB SXM5	80	Q4	533.0 估算	是	0.018
Gaudi 3 128GB	128	Q4	521.2 估算	是	0.042
B200 192GB SXM	192	FP16	350.0 估算	是	0.009
A100 80GB SXM4	80	Q4	324.4 估算	是	0.022
RTX 5090 32GB	32	Q4	285.1 估算	是	0.143
MI300X 192GB	192	FP16	231.9 估算	是	0.015
H200 141GB SXM5	141	FP16	210.0 估算	是	0.006
RTX 4090 24GB	24	Q4	160.4 估算	是	0.1
RTX 4090D 24GB (China)	24	Q4	160.4 估算	是	0.1
RTX 3090 Ti 24GB	24	Q4	160.4 估算	是	0.08
RTX 5080 16GB	16	Q4	152.7 估算	是	0.153
RX 7900 XTX 24GB	24	Q4	152.7 估算	是	0.153
RTX 6000 Ada 48GB	48	Q4	152.7 估算	是	0.022
RTX 3090 24GB	24	Q4	148.9 估算	是	0.099
H100 80GB SXM5	80	FP16	146.6 估算	是	0.005
Gaudi 3 128GB	128	FP16	143.3 估算	是	0.011
RTX 5070 Ti 16GB	16	Q4	142.5 估算	是	0.19
L40S 48GB	48	Q4	137.5 估算	是	0.017
Mac Studio M3 Ultra 96GB	96	Q4	130.3 估算	是	0.033
Mac Studio M2 Ultra 192GB	192	Q4	127.3 估算	是	0.018
RX 7900 XT 20GB	20	Q4	127.3 估算	是	0.142
RTX A6000 48GB	48	Q4	122.2 估算	是	0.027
RTX 3080 10GB	10	Q4	120.9 估算	是	0.173
RTX 4080 Super 16GB	16	Q4	117.1 估算	是	0.117
RTX 4070 Ti Super 16GB	16	Q4	106.9 估算	是	0.134
RTX 5070 12GB	12	Q4	106.9 估算	是	0.195
RX 9070 16GB	16	Q4	101.8 估算	是	0.185
RX 9070 XT 16GB	16	Q4	101.8 估算	是	0.17
RX 7800 XT 16GB	16	Q4	99.3 估算	是	0.199
RTX 3080 10GB	10	FP16	98.9 估算	否	0.141
RX 7900 GRE 16GB	16	Q4	91.6 估算	是	0.167
A100 80GB SXM4	80	FP16	89.2 估算	是	0.006
Arc A770 16GB	16	Q4	89.1 估算	是	0.255
RTX 4070 Ti 12GB	12	Q4	88.1 估算	是	0.11
MacBook Pro M4 Max 128GB	128	Q4	86.9 估算	是	0.02
RTX 4070 12GB	12	Q4	80.2 估算	是	0.134
RTX 4070 Super 12GB	12	Q4	80.2 估算	是	0.134
RTX 5090 32GB	32	FP16	78.4 估算	是	0.039
Arc B580 12GB	12	Q4	72.5 估算	是	0.291
RTX 5060 8GB	8	Q4	71.3 估算	是	0.238
RTX 5060 Ti 8GB	8	Q4	71.3 估算	是	0.188
RTX 5060 Ti 16GB	16	Q4	71.3 估算	是	0.166
RTX 3070 8GB	8	Q4	71.3 估算	是	0.143
RX 7700 XT 12GB	12	Q4	68.7 估算	是	0.153
MacBook Pro M3 Max 128GB	128	Q4	63.6 估算	是	0.015
Arc B570 10GB	10	Q4	60.5 估算	是	0.276
RTX 3060 12GB	12	Q4	57.3 估算	是	0.174
T4 16GB	16	Q4	50.9 估算	是	0.025
Arc B570 10GB	10	FP16	49.5 估算	否	0.226
RTX 4060 Ti 8GB	8	Q4	45.8 估算	是	0.115
RTX 4060 Ti 16GB	16	Q4	45.8 估算	是	0.092
RX 7600 8GB	8	Q4	45.8 估算	是	0.17
RX 7600 XT 16GB	16	Q4	45.8 估算	是	0.139
RTX 4090 24GB	24	FP16	44.1 估算	是	0.028
RTX 4090D 24GB (China)	24	FP16	44.1 估算	是	0.028
RTX 3090 Ti 24GB	24	FP16	44.1 估算	是	0.022
Mac mini M4 Pro 64GB	64	Q4	43.4 估算	是	0.02
RTX 4060 8GB	8	Q4	43.3 估算	是	0.145
RTX 5080 16GB	16	FP16	42.0 估算	是	0.042
RX 7900 XTX 24GB	24	FP16	42.0 估算	是	0.042
RTX 6000 Ada 48GB	48	FP16	42.0 估算	是	0.006
RTX 3090 24GB	24	FP16	40.9 估算	是	0.027
RTX 5070 Ti 16GB	16	FP16	39.2 估算	是	0.052
L40S 48GB	48	FP16	37.8 估算	是	0.005
RTX 5060 8GB	8	FP16	37.3 估算	否	0.125
RTX 5060 Ti 8GB	8	FP16	37.3 估算	否	0.098
RTX 3070 8GB	8	FP16	37.3 估算	否	0.075
Mac Studio M3 Ultra 96GB	96	FP16	35.8 估算	是	0.009
Mac Studio M2 Ultra 192GB	192	FP16	35.0 估算	是	0.005
RX 7900 XT 20GB	20	FP16	35.0 估算	是	0.039
RTX A6000 48GB	48	FP16	33.6 估算	是	0.007
RTX 4080 Super 16GB	16	FP16	32.2 估算	是	0.032
RTX 4070 Ti Super 16GB	16	FP16	29.4 估算	是	0.037
RTX 5070 12GB	12	FP16	29.4 估算	是	0.054
RX 9070 16GB	16	FP16	28.0 估算	是	0.051
RX 9070 XT 16GB	16	FP16	28.0 估算	是	0.047
RX 7800 XT 16GB	16	FP16	27.3 估算	是	0.055
RX 7900 GRE 16GB	16	FP16	25.2 估算	是	0.046
Arc A770 16GB	16	FP16	24.5 估算	是	0.07
RTX 4070 Ti 12GB	12	FP16	24.2 估算	是	0.03
RTX 4060 Ti 8GB	8	FP16	24.0 估算	否	0.06
RX 7600 8GB	8	FP16	24.0 估算	否	0.089
MacBook Pro M4 Max 128GB	128	FP16	23.9 估算	是	0.005
RTX 4060 8GB	8	FP16	22.7 估算	否	0.076
RTX 4070 12GB	12	FP16	22.0 估算	是	0.037
RTX 4070 Super 12GB	12	FP16	22.0 估算	是	0.037
Arc B580 12GB	12	FP16	19.9 估算	是	0.08
RTX 5060 Ti 16GB	16	FP16	19.6 估算	是	0.046
Mac mini M4 32GB	32	Q4	19.1 估算	是	0.019
RX 7700 XT 12GB	12	FP16	18.9 估算	是	0.042
MacBook Pro M3 Max 128GB	128	FP16	17.5 估算	是	0.004
RTX 3060 12GB	12	FP16	15.7 估算	是	0.048
T4 16GB	16	FP16	14.0 估算	是	0.007
RTX 4060 Ti 16GB	16	FP16	12.6 估算	是	0.025
RX 7600 XT 16GB	16	FP16	12.6 估算	是	0.038
Mac mini M4 Pro 64GB	64	FP16	11.9 估算	是	0.005
Mac mini M4 32GB	32	FP16	5.2 估算	是	0.005

装机核对

• RTX 5090 32GB — 装得下 · ≈285.1 tok/s Q4 估算
• RTX 3090 Ti 24GB — 装得下 · ≈160.4 tok/s Q4 估算
• RTX 4090 24GB — 装得下 · ≈160.4 tok/s Q4 估算
• RTX 5080 16GB — 装得下 · ≈152.7 tok/s Q4 估算
• RTX 6000 Ada 48GB — 装得下 · ≈152.7 tok/s Q4 估算
• RX 7900 XTX 24GB — 装得下 · ≈152.7 tok/s Q4 估算
• RTX 3090 24GB — 装得下 · ≈148.9 tok/s Q4 估算
• RTX 5070 Ti 16GB — 装得下 · ≈142.5 tok/s Q4 估算
• L40S 48GB — 装得下 · ≈137.5 tok/s Q4 估算
• Mac Studio M3 Ultra 96GB — 装得下 · ≈130.3 tok/s Q4 估算
• Mac Studio M2 Ultra 192GB — 装得下 · ≈127.3 tok/s Q4 估算
• RX 7900 XT 20GB — 装得下 · ≈127.3 tok/s Q4 估算

12 款热门零售 GPU；上表每行的「装得下？」结论同样链接到完整装机核对页。

同族模型：Qwen（通义千问）

Qwen3 Qwen3-8B · Qwen3-14B
Qwen2.5 Qwen2.5-7B-Instruct · Qwen2.5-14B-Instruct · Qwen2.5-32B-Instruct · Qwen2.5-72B-Instruct
Qwen2.5 Coder Qwen2.5-Coder-32B-Instruct
Qwen3 2507 Qwen3-4B-Thinking-2507 · Qwen3-30B-A3B-Instruct-2507 · Qwen3-235B-A22B-Instruct-2507
Qwen3 Next Qwen3-Next-80B-A3B-Instruct
Qwen3 Coder Qwen3-Coder-480B-A35B-Instruct · Qwen3-Coder-Next
Qwen3.5 Qwen3.5-2B · Qwen3.5-9B · Qwen3.5-27B · Qwen3.5-35B-A3B · Qwen3.5-122B-A10B · Qwen3.5-397B-A17B
Qwen3.6 Qwen3.6-27B · Qwen3.6-35B-A3B

全部 Qwen（通义千问） 模型 →