gemma-4-12b-it

Google · 11.95B · ctx 256K · apache-2.0 · HuggingFace

gemma-4-12b-it（Google）是 AI Hashrate 收录的11.95B 参数开放权重模型。 按 8K 上下文估算：Q4 约需 9.96 GB VRAM（权重 6.57 GB + KV 2.39 GB + 开销 1 GB），FP16 约需 27.29 GB。 在该上下文假设下，目录中约有 42 款 GPU/加速器能在 Q4 下完整装下此模型。 Q4 最快配置：B200 192GB SXM ≈ 426.0 tok/s（估算）; MI300X 192GB ≈ 282.2 tok/s（估算）; H200 141GB SXM5 ≈ 255.6 tok/s（估算）; H100 80GB SXM5 ≈ 178.4 tok/s（估算）; Gaudi 3 128GB ≈ 174.5 tok/s（估算）。 下表给出各硬件的 VRAM 装机情况与每美元 tok/s（按 MSRP 标价）。估算基于显存带宽公式；有实测时以实测为准。详见方法论页。 方法论.

100 个硬件配置——按 tok/s 排序。默认装机上下文 8K。

硬件	VRAM	量化	tok/s	装得下？	tok/s/$
B200 192GB SXM	192	Q4	426.0 估算	是	0.011
MI300X 192GB	192	Q4	282.2 估算	是	0.019
H200 141GB SXM5	141	Q4	255.6 估算	是	0.007
H100 80GB SXM5	80	Q4	178.4 估算	是	0.006
Gaudi 3 128GB	128	Q4	174.5 估算	是	0.014
B200 192GB SXM	192	FP16	117.2 估算	是	0.003
RTX 3080 10GB	10	Q4	116.6 估算	否	0.167
A100 80GB SXM4	80	Q4	108.6 估算	是	0.007
RTX 5090 32GB	32	Q4	95.4 估算	是	0.048
MI300X 192GB	192	FP16	77.6 估算	是	0.005
H200 141GB SXM5	141	FP16	70.3 估算	是	0.002
Arc B570 10GB	10	Q4	58.3 估算	否	0.266
RTX 4090 24GB	24	Q4	53.7 估算	是	0.034
RTX 4090D 24GB (China)	24	Q4	53.7 估算	是	0.034
RTX 3090 Ti 24GB	24	Q4	53.7 估算	是	0.027
RTX 5080 16GB	16	Q4	51.1 估算	是	0.051
RX 7900 XTX 24GB	24	Q4	51.1 估算	是	0.051
RTX 6000 Ada 48GB	48	Q4	51.1 估算	是	0.008
RTX 3090 24GB	24	Q4	49.8 估算	是	0.033
H100 80GB SXM5	80	FP16	49.1 估算	是	0.002
Gaudi 3 128GB	128	FP16	48.0 估算	是	0.004
RTX 5070 Ti 16GB	16	Q4	47.7 估算	是	0.064
L40S 48GB	48	Q4	46.0 估算	是	0.006
RTX 5060 8GB	8	Q4	44.0 估算	否	0.147
RTX 5060 Ti 8GB	8	Q4	44.0 估算	否	0.116
RTX 3070 8GB	8	Q4	44.0 估算	否	0.088
Mac Studio M3 Ultra 96GB	96	Q4	43.6 估算	是	0.011
Mac Studio M2 Ultra 192GB	192	Q4	42.6 估算	是	0.006
RX 7900 XT 20GB	20	Q4	42.6 估算	是	0.047
RTX A6000 48GB	48	Q4	40.9 估算	是	0.009
RTX 4080 Super 16GB	16	Q4	39.2 估算	是	0.039
RTX 4070 Ti Super 16GB	16	Q4	35.8 估算	是	0.045
RTX 5070 12GB	12	Q4	35.8 估算	是	0.065
RX 9070 16GB	16	Q4	34.1 估算	是	0.062
RX 9070 XT 16GB	16	Q4	34.1 估算	是	0.057
RX 7800 XT 16GB	16	Q4	33.2 估算	是	0.067
RTX 4090 24GB	24	FP16	32.6 估算	否	0.02
RTX 4090D 24GB (China)	24	FP16	32.6 估算	否	0.02
RTX 3090 Ti 24GB	24	FP16	32.6 估算	否	0.016
RX 7900 XTX 24GB	24	FP16	31.1 估算	否	0.031
RX 7900 GRE 16GB	16	Q4	30.7 估算	是	0.056
RTX 3090 24GB	24	FP16	30.3 估算	否	0.02
A100 80GB SXM4	80	FP16	29.9 估算	是	0.002
Arc A770 16GB	16	Q4	29.8 估算	是	0.085
RTX 4070 Ti 12GB	12	Q4	29.5 估算	是	0.037
MacBook Pro M4 Max 128GB	128	Q4	29.1 估算	是	0.007
RTX 4060 Ti 8GB	8	Q4	28.3 估算	否	0.071
RX 7600 8GB	8	Q4	28.3 估算	否	0.105
RTX 4070 12GB	12	Q4	26.8 估算	是	0.045
RTX 4070 Super 12GB	12	Q4	26.8 估算	是	0.045
RTX 4060 8GB	8	Q4	26.7 估算	否	0.089
RTX 5090 32GB	32	FP16	26.2 估算	是	0.013
Arc B580 12GB	12	Q4	24.3 估算	是	0.098
RTX 5060 Ti 16GB	16	Q4	23.9 估算	是	0.056
RX 7700 XT 12GB	12	Q4	23.0 估算	是	0.051
MacBook Pro M3 Max 128GB	128	Q4	21.3 估算	是	0.005
RTX 3060 12GB	12	Q4	19.2 估算	是	0.058
RX 7900 XT 20GB	20	FP16	18.0 估算	否	0.02
T4 16GB	16	Q4	17.0 估算	是	0.009
RTX 4060 Ti 16GB	16	Q4	15.3 估算	是	0.031
RX 7600 XT 16GB	16	Q4	15.3 估算	是	0.047
Mac mini M4 Pro 64GB	64	Q4	14.5 估算	是	0.007
RTX 6000 Ada 48GB	48	FP16	14.1 估算	是	0.002
RTX 5080 16GB	16	FP16	13.8 估算	否	0.014
RTX 5070 Ti 16GB	16	FP16	12.9 估算	否	0.017
L40S 48GB	48	FP16	12.7 估算	是	0.002
Mac Studio M3 Ultra 96GB	96	FP16	12.0 估算	是	0.003
Mac Studio M2 Ultra 192GB	192	FP16	11.7 估算	是	0.002
RTX A6000 48GB	48	FP16	11.2 估算	是	0.002
RTX 4080 Super 16GB	16	FP16	10.6 估算	否	0.011
RTX 4070 Ti Super 16GB	16	FP16	9.7 估算	否	0.012
RX 9070 16GB	16	FP16	9.2 估算	否	0.017
RX 9070 XT 16GB	16	FP16	9.2 估算	否	0.015
RX 7800 XT 16GB	16	FP16	9.0 估算	否	0.018
RX 7900 GRE 16GB	16	FP16	8.3 估算	否	0.015
Arc A770 16GB	16	FP16	8.1 估算	否	0.023
MacBook Pro M4 Max 128GB	128	FP16	8.0 估算	是	0.002
RTX 5060 Ti 16GB	16	FP16	6.4 估算	否	0.015
Mac mini M4 32GB	32	Q4	6.4 估算	是	0.006
MacBook Pro M3 Max 128GB	128	FP16	5.9 估算	是	0.001
RTX 5070 12GB	12	FP16	5.4 估算	否	0.01
T4 16GB	16	FP16	4.6 估算	否	0.002
RTX 4070 Ti 12GB	12	FP16	4.5 估算	否	0.006
RTX 3080 10GB	10	FP16	4.3 估算	否	0.006
RTX 4070 12GB	12	FP16	4.1 估算	否	0.007
RTX 4060 Ti 16GB	16	FP16	4.1 估算	否	0.008
RTX 4070 Super 12GB	12	FP16	4.1 估算	否	0.007
RX 7600 XT 16GB	16	FP16	4.1 估算	否	0.012
Mac mini M4 Pro 64GB	64	FP16	4.0 估算	是	0.002
Arc B580 12GB	12	FP16	3.7 估算	否	0.015
RX 7700 XT 12GB	12	FP16	3.5 估算	否	0.008
RTX 3060 12GB	12	FP16	2.9 估算	否	0.009
Arc B570 10GB	10	FP16	2.1 估算	否	0.01
Mac mini M4 32GB	32	FP16	1.8 估算	是	0.002
RTX 5060 8GB	8	FP16	1.6 估算	否	0.005
RTX 5060 Ti 8GB	8	FP16	1.6 估算	否	0.004
RTX 3070 8GB	8	FP16	1.6 估算	否	0.003
RTX 4060 8GB	8	FP16	1.0 估算	否	0.003
RTX 4060 Ti 8GB	8	FP16	1.0 估算	否	0.003
RX 7600 8GB	8	FP16	1.0 估算	否	0.004

装机核对

• RTX 5090 32GB — 装得下 · ≈95.4 tok/s Q4 估算
• RTX 3090 Ti 24GB — 装得下 · ≈53.7 tok/s Q4 估算
• RTX 4090 24GB — 装得下 · ≈53.7 tok/s Q4 估算
• RTX 5080 16GB — 装得下 · ≈51.1 tok/s Q4 估算
• RTX 6000 Ada 48GB — 装得下 · ≈51.1 tok/s Q4 估算
• RX 7900 XTX 24GB — 装得下 · ≈51.1 tok/s Q4 估算
• RTX 3090 24GB — 装得下 · ≈49.8 tok/s Q4 估算
• RTX 5070 Ti 16GB — 装得下 · ≈47.7 tok/s Q4 估算
• L40S 48GB — 装得下 · ≈46.0 tok/s Q4 估算
• Mac Studio M3 Ultra 96GB — 装得下 · ≈43.6 tok/s Q4 估算
• Mac Studio M2 Ultra 192GB — 装得下 · ≈42.6 tok/s Q4 估算
• RX 7900 XT 20GB — 装得下 · ≈42.6 tok/s Q4 估算

12 款热门零售 GPU；上表每行的「装得下？」结论同样链接到完整装机核对页。

同族模型：Gemma

Gemma 4 gemma-4-E2B-it · gemma-4-E4B-it · gemma-4-26B-A4B-it · gemma-4-31B-it

全部 Gemma 模型 →