gemma-4-26B-A4B-it

Google · 25.2B（激活 3.8B） · MoE · ctx 256K · apache-2.0 · HuggingFace

gemma-4-26B-A4B-it（Google）是 AI Hashrate 收录的25.2B 参数 MoE（每 token 激活 3.8B）开放权重模型。 按 8K 上下文估算：Q4 约需 15.62 GB VRAM（权重 13.86 GB + KV 0.76 GB + 开销 1 GB），FP16 约需 52.16 GB。 在该上下文假设下，目录中约有 22 款 GPU/加速器能在 Q4 下完整装下此模型。 Q4 最快配置：B200 192GB SXM ≈ 1339.7 tok/s（估算）; MI300X 192GB ≈ 887.6 tok/s（估算）; H200 141GB SXM5 ≈ 803.8 tok/s（估算）; H100 80GB SXM5 ≈ 561.0 tok/s（估算）; Gaudi 3 128GB ≈ 548.6 tok/s（估算）。 下表给出各硬件的 VRAM 装机情况与每美元 tok/s（按 MSRP 标价）。估算基于显存带宽公式；有实测时以实测为准。详见方法论页。 方法论.

85 个硬件配置——按 tok/s 排序。默认装机上下文 8K。

硬件	VRAM	量化	tok/s	装得下？	tok/s/$
B200 192GB SXM	192	Q4	1339.7 估算	是	0.033
MI300X 192GB	192	Q4	887.6 估算	是	0.059
H200 141GB SXM5	141	Q4	803.8 估算	是	0.023
H100 80GB SXM5	80	Q4	561.0 估算	是	0.019
Gaudi 3 128GB	128	Q4	548.6 估算	是	0.044
RTX 5080 16GB	16	Q4	482.0 估算	否	0.482
RTX 5070 Ti 16GB	16	Q4	449.8 估算	否	0.601
RTX 4080 Super 16GB	16	Q4	369.5 估算	否	0.37
B200 192GB SXM	192	FP16	368.4 估算	是	0.009
A100 80GB SXM4	80	Q4	341.5 估算	是	0.023
RTX 4070 Ti Super 16GB	16	Q4	337.4 估算	否	0.422
RX 9070 16GB	16	Q4	321.3 估算	否	0.585
RX 9070 XT 16GB	16	Q4	321.3 估算	否	0.536
RX 7800 XT 16GB	16	Q4	313.3 估算	否	0.628
RTX 5090 32GB	32	Q4	300.1 估算	是	0.15
RX 7900 GRE 16GB	16	Q4	289.2 估算	否	0.527
Arc A770 16GB	16	Q4	281.1 估算	否	0.805
MI300X 192GB	192	FP16	244.1 估算	是	0.016
RTX 5060 Ti 16GB	16	Q4	224.9 估算	否	0.524
H200 141GB SXM5	141	FP16	221.1 估算	是	0.006
RTX 5070 12GB	12	Q4	189.8 估算	否	0.346
RTX 4090 24GB	24	Q4	168.8 估算	是	0.106
RTX 4090D 24GB (China)	24	Q4	168.8 估算	是	0.106
RTX 3090 Ti 24GB	24	Q4	168.8 估算	是	0.084
RX 7900 XTX 24GB	24	Q4	160.8 估算	是	0.161
RTX 6000 Ada 48GB	48	Q4	160.8 估算	是	0.024
T4 16GB	16	Q4	160.7 估算	否	0.08
RTX 3090 24GB	24	Q4	156.7 估算	是	0.105
RTX 4070 Ti 12GB	12	Q4	156.4 估算	否	0.196
H100 80GB SXM5	80	FP16	154.3 估算	是	0.005
Gaudi 3 128GB	128	FP16	150.9 估算	是	0.012
RTX 3080 10GB	10	Q4	149.0 估算	否	0.213
L40S 48GB	48	Q4	144.7 估算	是	0.018
RTX 4060 Ti 16GB	16	Q4	144.6 估算	否	0.29
RX 7600 XT 16GB	16	Q4	144.6 估算	否	0.44
RTX 4070 12GB	12	Q4	142.3 估算	否	0.238
RTX 4070 Super 12GB	12	Q4	142.3 估算	否	0.238
Mac Studio M3 Ultra 96GB	96	Q4	137.2 估算	是	0.034
Mac Studio M2 Ultra 192GB	192	Q4	134.0 估算	是	0.019
RX 7900 XT 20GB	20	Q4	134.0 估算	是	0.149
Arc B580 12GB	12	Q4	128.8 估算	否	0.517
RTX A6000 48GB	48	Q4	128.6 估算	是	0.029
RX 7700 XT 12GB	12	Q4	122.0 估算	否	0.272
RTX 6000 Ada 48GB	48	FP16	107.0 估算	否	0.016
RTX 3060 12GB	12	Q4	101.7 估算	否	0.309
L40S 48GB	48	FP16	96.3 估算	否	0.012
A100 80GB SXM4	80	FP16	93.9 估算	是	0.006
MacBook Pro M4 Max 128GB	128	Q4	91.4 估算	是	0.021
RTX 5090 32GB	32	FP16	88.7 估算	否	0.044
RTX A6000 48GB	48	FP16	85.6 估算	否	0.019
Arc B570 10GB	10	Q4	74.5 估算	否	0.34
MacBook Pro M3 Max 128GB	128	Q4	67.0 估算	是	0.016
RTX 5060 8GB	8	Q4	56.2 估算	否	0.188
RTX 5060 Ti 8GB	8	Q4	56.2 估算	否	0.148
RTX 3070 8GB	8	Q4	56.2 估算	否	0.113
Mac mini M4 Pro 64GB	64	Q4	45.7 估算	是	0.021
Mac Studio M3 Ultra 96GB	96	FP16	37.7 估算	是	0.009
Mac Studio M2 Ultra 192GB	192	FP16	36.8 估算	是	0.005
RTX 4060 Ti 8GB	8	Q4	36.1 估算	否	0.09
RX 7600 8GB	8	Q4	36.1 估算	否	0.134
RTX 4060 8GB	8	Q4	34.1 估算	否	0.114
RTX 4090 24GB	24	FP16	28.1 估算	否	0.018
RTX 4090D 24GB (China)	24	FP16	28.1 估算	否	0.018
RTX 3090 Ti 24GB	24	FP16	28.1 估算	否	0.014
RX 7900 XTX 24GB	24	FP16	26.7 估算	否	0.027
RTX 3090 24GB	24	FP16	26.1 估算	否	0.017
MacBook Pro M4 Max 128GB	128	FP16	25.1 估算	是	0.006
Mac mini M4 32GB	32	Q4	20.1 估算	是	0.02
MacBook Pro M3 Max 128GB	128	FP16	18.4 估算	是	0.004
RX 7900 XT 20GB	20	FP16	15.5 估算	否	0.017
Mac mini M4 Pro 64GB	64	FP16	12.6 估算	是	0.006
RTX 5080 16GB	16	FP16	11.9 估算	否	0.012
RTX 5070 Ti 16GB	16	FP16	11.1 估算	否	0.015
RTX 4080 Super 16GB	16	FP16	9.1 估算	否	0.009
RTX 4070 Ti Super 16GB	16	FP16	8.3 估算	否	0.01
RX 9070 16GB	16	FP16	7.9 估算	否	0.014
RX 9070 XT 16GB	16	FP16	7.9 估算	否	0.013
RX 7800 XT 16GB	16	FP16	7.7 估算	否	0.015
RX 7900 GRE 16GB	16	FP16	7.1 估算	否	0.013
Arc A770 16GB	16	FP16	6.9 估算	否	0.02
Mac mini M4 32GB	32	FP16	5.9 估算	否	0.006
RTX 5060 Ti 16GB	16	FP16	5.5 估算	否	0.013
T4 16GB	16	FP16	4.0 估算	否	0.002
RTX 4060 Ti 16GB	16	FP16	3.6 估算	否	0.007
RX 7600 XT 16GB	16	FP16	3.6 估算	否	0.011

装机核对

• RTX 5090 32GB — 装得下 · ≈300.1 tok/s Q4 估算
• RTX 3090 Ti 24GB — 装得下 · ≈168.8 tok/s Q4 估算
• RTX 4090 24GB — 装得下 · ≈168.8 tok/s Q4 估算
• RTX 5080 16GB — 装不下 · ≈482.0 tok/s Q4 估算
• RTX 6000 Ada 48GB — 装得下 · ≈160.8 tok/s Q4 估算
• RX 7900 XTX 24GB — 装得下 · ≈160.8 tok/s Q4 估算
• RTX 3090 24GB — 装得下 · ≈156.7 tok/s Q4 估算
• RTX 5070 Ti 16GB — 装不下 · ≈449.8 tok/s Q4 估算
• L40S 48GB — 装得下 · ≈144.7 tok/s Q4 估算
• Mac Studio M3 Ultra 96GB — 装得下 · ≈137.2 tok/s Q4 估算
• Mac Studio M2 Ultra 192GB — 装得下 · ≈134.0 tok/s Q4 估算
• RX 7900 XT 20GB — 装得下 · ≈134.0 tok/s Q4 估算

12 款热门零售 GPU；上表每行的「装得下？」结论同样链接到完整装机核对页。

同族模型：Gemma

Gemma 4 gemma-4-E2B-it · gemma-4-E4B-it · gemma-4-12b-it · gemma-4-31B-it

全部 Gemma 模型 →