Qwen3.5-2B

Alibaba · 2.0B · ctx 256K · apache-2.0 · HuggingFace

Qwen3.5-2B（Alibaba）是 AI Hashrate 收录的2.0B 参数开放权重模型。 按 8K 上下文估算：Q4 约需 2.5 GB VRAM（权重 1.1 GB + KV 0.4 GB + 开销 1 GB），FP16 约需 5.4 GB。 在该上下文假设下，目录中约有 50 款 GPU/加速器能在 Q4 下完整装下此模型。 Q4 最快配置：B200 192GB SXM ≈ 2545.5 tok/s（估算）; MI300X 192GB ≈ 1686.4 tok/s（估算）; H200 141GB SXM5 ≈ 1527.3 tok/s（估算）; H100 80GB SXM5 ≈ 1065.9 tok/s（估算）; Gaudi 3 128GB ≈ 1042.4 tok/s（估算）。 下表给出各硬件的 VRAM 装机情况与每美元 tok/s（按 MSRP 标价）。估算基于显存带宽公式；有实测时以实测为准。详见方法论页。 方法论.

100 个硬件配置——按 tok/s 排序。默认装机上下文 8K。

硬件	VRAM	量化	tok/s	装得下？	tok/s/$
B200 192GB SXM	192	Q4	2545.5 估算	是	0.064
MI300X 192GB	192	Q4	1686.4 估算	是	0.112
H200 141GB SXM5	141	Q4	1527.3 估算	是	0.044
H100 80GB SXM5	80	Q4	1065.9 估算	是	0.036
Gaudi 3 128GB	128	Q4	1042.4 估算	是	0.083
B200 192GB SXM	192	FP16	700.0 估算	是	0.018
A100 80GB SXM4	80	Q4	648.8 估算	是	0.043
RTX 5090 32GB	32	Q4	570.2 估算	是	0.285
MI300X 192GB	192	FP16	463.7 估算	是	0.031
H200 141GB SXM5	141	FP16	420.0 估算	是	0.012
RTX 4090 24GB	24	Q4	320.7 估算	是	0.201
RTX 4090D 24GB (China)	24	Q4	320.7 估算	是	0.201
RTX 3090 Ti 24GB	24	Q4	320.7 估算	是	0.16
RTX 5080 16GB	16	Q4	305.5 估算	是	0.306
RX 7900 XTX 24GB	24	Q4	305.5 估算	是	0.306
RTX 6000 Ada 48GB	48	Q4	305.5 估算	是	0.045
RTX 3090 24GB	24	Q4	297.8 估算	是	0.199
H100 80GB SXM5	80	FP16	293.1 估算	是	0.01
Gaudi 3 128GB	128	FP16	286.6 估算	是	0.023
RTX 5070 Ti 16GB	16	Q4	285.1 估算	是	0.381
L40S 48GB	48	Q4	274.9 估算	是	0.034
Mac Studio M3 Ultra 96GB	96	Q4	260.6 估算	是	0.065
Mac Studio M2 Ultra 192GB	192	Q4	254.5 估算	是	0.036
RX 7900 XT 20GB	20	Q4	254.5 估算	是	0.283
RTX A6000 48GB	48	Q4	244.4 估算	是	0.054
RTX 3080 10GB	10	Q4	241.8 估算	是	0.346
RTX 4080 Super 16GB	16	Q4	234.2 估算	是	0.234
RTX 4070 Ti Super 16GB	16	Q4	213.8 估算	是	0.268
RTX 5070 12GB	12	Q4	213.8 估算	是	0.389
RX 9070 16GB	16	Q4	203.6 估算	是	0.371
RX 9070 XT 16GB	16	Q4	203.6 估算	是	0.34
RX 7800 XT 16GB	16	Q4	198.5 估算	是	0.398
RX 7900 GRE 16GB	16	Q4	183.3 估算	是	0.334
A100 80GB SXM4	80	FP16	178.4 估算	是	0.012
Arc A770 16GB	16	Q4	178.2 估算	是	0.511
RTX 4070 Ti 12GB	12	Q4	176.3 估算	是	0.221
MacBook Pro M4 Max 128GB	128	Q4	173.7 估算	是	0.039
RTX 4070 12GB	12	Q4	160.4 估算	是	0.268
RTX 4070 Super 12GB	12	Q4	160.4 估算	是	0.268
RTX 5090 32GB	32	FP16	156.8 估算	是	0.078
Arc B580 12GB	12	Q4	145.1 估算	是	0.583
RTX 5060 8GB	8	Q4	142.5 估算	是	0.477
RTX 5060 Ti 8GB	8	Q4	142.5 估算	是	0.376
RTX 5060 Ti 16GB	16	Q4	142.5 估算	是	0.332
RTX 3070 8GB	8	Q4	142.5 估算	是	0.286
RX 7700 XT 12GB	12	Q4	137.5 估算	是	0.306
MacBook Pro M3 Max 128GB	128	Q4	127.3 估算	是	0.03
Arc B570 10GB	10	Q4	120.9 估算	是	0.552
RTX 3060 12GB	12	Q4	114.5 估算	是	0.348
T4 16GB	16	Q4	101.8 估算	是	0.051
RTX 4060 Ti 8GB	8	Q4	91.6 估算	是	0.23
RTX 4060 Ti 16GB	16	Q4	91.6 估算	是	0.184
RX 7600 8GB	8	Q4	91.6 估算	是	0.341
RX 7600 XT 16GB	16	Q4	91.6 估算	是	0.278
RTX 4090 24GB	24	FP16	88.2 估算	是	0.055
RTX 4090D 24GB (China)	24	FP16	88.2 估算	是	0.055
RTX 3090 Ti 24GB	24	FP16	88.2 估算	是	0.044
Mac mini M4 Pro 64GB	64	Q4	86.9 估算	是	0.04
RTX 4060 8GB	8	Q4	86.5 估算	是	0.289
RTX 5080 16GB	16	FP16	84.0 估算	是	0.084
RX 7900 XTX 24GB	24	FP16	84.0 估算	是	0.084
RTX 6000 Ada 48GB	48	FP16	84.0 估算	是	0.012
RTX 3090 24GB	24	FP16	81.9 估算	是	0.055
RTX 5070 Ti 16GB	16	FP16	78.4 估算	是	0.105
L40S 48GB	48	FP16	75.6 估算	是	0.009
Mac Studio M3 Ultra 96GB	96	FP16	71.7 估算	是	0.018
Mac Studio M2 Ultra 192GB	192	FP16	70.0 估算	是	0.01
RX 7900 XT 20GB	20	FP16	70.0 估算	是	0.078
RTX A6000 48GB	48	FP16	67.2 估算	是	0.015
RTX 3080 10GB	10	FP16	66.5 估算	是	0.095
RTX 4080 Super 16GB	16	FP16	64.4 估算	是	0.064
RTX 4070 Ti Super 16GB	16	FP16	58.8 估算	是	0.074
RTX 5070 12GB	12	FP16	58.8 估算	是	0.107
RX 9070 16GB	16	FP16	56.0 估算	是	0.102
RX 9070 XT 16GB	16	FP16	56.0 估算	是	0.093
RX 7800 XT 16GB	16	FP16	54.6 估算	是	0.109
RX 7900 GRE 16GB	16	FP16	50.4 估算	是	0.092
Arc A770 16GB	16	FP16	49.0 估算	是	0.14
RTX 4070 Ti 12GB	12	FP16	48.5 估算	是	0.061
MacBook Pro M4 Max 128GB	128	FP16	47.8 估算	是	0.011
RTX 4070 12GB	12	FP16	44.1 估算	是	0.074
RTX 4070 Super 12GB	12	FP16	44.1 估算	是	0.074
Arc B580 12GB	12	FP16	39.9 估算	是	0.16
RTX 5060 8GB	8	FP16	39.2 估算	是	0.131
RTX 5060 Ti 8GB	8	FP16	39.2 估算	是	0.103
RTX 5060 Ti 16GB	16	FP16	39.2 估算	是	0.091
RTX 3070 8GB	8	FP16	39.2 估算	是	0.079
Mac mini M4 32GB	32	Q4	38.2 估算	是	0.038
RX 7700 XT 12GB	12	FP16	37.8 估算	是	0.084
MacBook Pro M3 Max 128GB	128	FP16	35.0 估算	是	0.008
Arc B570 10GB	10	FP16	33.2 估算	是	0.152
RTX 3060 12GB	12	FP16	31.5 估算	是	0.096
T4 16GB	16	FP16	28.0 估算	是	0.014
RTX 4060 Ti 8GB	8	FP16	25.2 估算	是	0.063
RTX 4060 Ti 16GB	16	FP16	25.2 估算	是	0.051
RX 7600 8GB	8	FP16	25.2 估算	是	0.094
RX 7600 XT 16GB	16	FP16	25.2 估算	是	0.077
Mac mini M4 Pro 64GB	64	FP16	23.9 估算	是	0.011
RTX 4060 8GB	8	FP16	23.8 估算	是	0.08
Mac mini M4 32GB	32	FP16	10.5 估算	是	0.011

装机核对

• RTX 5090 32GB — 装得下 · ≈570.2 tok/s Q4 估算
• RTX 3090 Ti 24GB — 装得下 · ≈320.7 tok/s Q4 估算
• RTX 4090 24GB — 装得下 · ≈320.7 tok/s Q4 估算
• RTX 5080 16GB — 装得下 · ≈305.5 tok/s Q4 估算
• RTX 6000 Ada 48GB — 装得下 · ≈305.5 tok/s Q4 估算
• RX 7900 XTX 24GB — 装得下 · ≈305.5 tok/s Q4 估算
• RTX 3090 24GB — 装得下 · ≈297.8 tok/s Q4 估算
• RTX 5070 Ti 16GB — 装得下 · ≈285.1 tok/s Q4 估算
• L40S 48GB — 装得下 · ≈274.9 tok/s Q4 估算
• Mac Studio M3 Ultra 96GB — 装得下 · ≈260.6 tok/s Q4 估算
• Mac Studio M2 Ultra 192GB — 装得下 · ≈254.5 tok/s Q4 估算
• RX 7900 XT 20GB — 装得下 · ≈254.5 tok/s Q4 估算

12 款热门零售 GPU；上表每行的「装得下？」结论同样链接到完整装机核对页。

同族模型：Qwen（通义千问）

Qwen3 Qwen3-8B · Qwen3-14B
Qwen3 2507 Qwen3-4B-Instruct-2507 · Qwen3-4B-Thinking-2507 · Qwen3-30B-A3B-Instruct-2507 · Qwen3-235B-A22B-Instruct-2507
Qwen2.5 Qwen2.5-7B-Instruct · Qwen2.5-14B-Instruct · Qwen2.5-32B-Instruct · Qwen2.5-72B-Instruct
Qwen2.5 Coder Qwen2.5-Coder-32B-Instruct
Qwen3 Next Qwen3-Next-80B-A3B-Instruct
Qwen3 Coder Qwen3-Coder-480B-A35B-Instruct · Qwen3-Coder-Next
Qwen3.5 Qwen3.5-9B · Qwen3.5-27B · Qwen3.5-35B-A3B · Qwen3.5-122B-A10B · Qwen3.5-397B-A17B
Qwen3.6 Qwen3.6-27B · Qwen3.6-35B-A3B

全部 Qwen（通义千问） 模型 →