gemma-4-E2B-it

Google · 5.1B · ctx 128K · apache-2.0 · HuggingFace

gemma-4-E2B-it（Google）是 AI Hashrate 收录的5.1B 参数开放权重模型。 按 8K 上下文估算：Q4 约需 4.83 GB VRAM（权重 2.81 GB + KV 1.02 GB + 开销 1 GB），FP16 约需 12.22 GB。 在该上下文假设下，目录中约有 50 款 GPU/加速器能在 Q4 下完整装下此模型。 Q4 最快配置：B200 192GB SXM ≈ 998.2 tok/s（估算）; MI300X 192GB ≈ 661.3 tok/s（估算）; H200 141GB SXM5 ≈ 598.9 tok/s（估算）; H100 80GB SXM5 ≈ 418.0 tok/s（估算）; Gaudi 3 128GB ≈ 408.8 tok/s（估算）。 下表给出各硬件的 VRAM 装机情况与每美元 tok/s（按 MSRP 标价）。估算基于显存带宽公式；有实测时以实测为准。详见方法论页。 方法论.

100 个硬件配置——按 tok/s 排序。默认装机上下文 8K。

硬件	VRAM	量化	tok/s	装得下？	tok/s/$
B200 192GB SXM	192	Q4	998.2 估算	是	0.025
MI300X 192GB	192	Q4	661.3 估算	是	0.044
H200 141GB SXM5	141	Q4	598.9 估算	是	0.017
H100 80GB SXM5	80	Q4	418.0 估算	是	0.014
Gaudi 3 128GB	128	Q4	408.8 估算	是	0.033
B200 192GB SXM	192	FP16	274.5 估算	是	0.007
A100 80GB SXM4	80	Q4	254.4 估算	是	0.017
RTX 5090 32GB	32	Q4	223.6 估算	是	0.112
MI300X 192GB	192	FP16	181.9 估算	是	0.012
H200 141GB SXM5	141	FP16	164.7 估算	是	0.005
RTX 4090 24GB	24	Q4	125.8 估算	是	0.079
RTX 4090D 24GB (China)	24	Q4	125.8 估算	是	0.079
RTX 3090 Ti 24GB	24	Q4	125.8 估算	是	0.063
RTX 5080 16GB	16	Q4	119.8 估算	是	0.12
RX 7900 XTX 24GB	24	Q4	119.8 估算	是	0.12
RTX 6000 Ada 48GB	48	Q4	119.8 估算	是	0.018
RTX 3090 24GB	24	Q4	116.8 估算	是	0.078
H100 80GB SXM5	80	FP16	115.0 估算	是	0.004
Gaudi 3 128GB	128	FP16	112.4 估算	是	0.009
RTX 5070 Ti 16GB	16	Q4	111.8 估算	是	0.149
L40S 48GB	48	Q4	107.8 估算	是	0.013
Mac Studio M3 Ultra 96GB	96	Q4	102.2 估算	是	0.026
Mac Studio M2 Ultra 192GB	192	Q4	99.8 估算	是	0.014
RX 7900 XT 20GB	20	Q4	99.8 估算	是	0.111
RTX A6000 48GB	48	Q4	95.8 估算	是	0.021
RTX 3080 10GB	10	Q4	94.8 估算	是	0.136
RTX 4080 Super 16GB	16	Q4	91.8 估算	是	0.092
RTX 4070 Ti Super 16GB	16	Q4	83.9 估算	是	0.105
RTX 5070 12GB	12	Q4	83.9 估算	是	0.153
RX 9070 16GB	16	Q4	79.9 估算	是	0.146
RX 9070 XT 16GB	16	Q4	79.9 估算	是	0.133
RX 7800 XT 16GB	16	Q4	77.9 估算	是	0.156
RX 7900 GRE 16GB	16	Q4	71.9 估算	是	0.131
A100 80GB SXM4	80	FP16	70.0 估算	是	0.005
Arc A770 16GB	16	Q4	69.9 估算	是	0.2
RTX 4070 Ti 12GB	12	Q4	69.1 估算	是	0.086
MacBook Pro M4 Max 128GB	128	Q4	68.1 估算	是	0.015
RTX 5070 12GB	12	FP16	63.5 估算	否	0.116
RTX 4070 12GB	12	Q4	62.9 估算	是	0.105
RTX 4070 Super 12GB	12	Q4	62.9 估算	是	0.105
RTX 5090 32GB	32	FP16	61.5 估算	是	0.031
Arc B580 12GB	12	Q4	56.9 估算	是	0.229
RTX 5060 8GB	8	Q4	55.9 估算	是	0.187
RTX 5060 Ti 8GB	8	Q4	55.9 估算	是	0.147
RTX 5060 Ti 16GB	16	Q4	55.9 估算	是	0.13
RTX 3070 8GB	8	Q4	55.9 估算	是	0.112
RX 7700 XT 12GB	12	Q4	53.9 估算	是	0.12
RTX 4070 Ti 12GB	12	FP16	52.4 估算	否	0.066
RTX 3080 10GB	10	FP16	49.9 估算	否	0.071
MacBook Pro M3 Max 128GB	128	Q4	49.9 估算	是	0.012
RTX 4070 12GB	12	FP16	47.6 估算	否	0.079
RTX 4070 Super 12GB	12	FP16	47.6 估算	否	0.079
Arc B570 10GB	10	Q4	47.4 估算	是	0.216
RTX 3060 12GB	12	Q4	44.9 估算	是	0.136
Arc B580 12GB	12	FP16	43.1 估算	否	0.173
RX 7700 XT 12GB	12	FP16	40.8 估算	否	0.091
T4 16GB	16	Q4	39.9 估算	是	0.02
RTX 4060 Ti 8GB	8	Q4	35.9 估算	是	0.09
RTX 4060 Ti 16GB	16	Q4	35.9 估算	是	0.072
RX 7600 8GB	8	Q4	35.9 估算	是	0.133
RX 7600 XT 16GB	16	Q4	35.9 估算	是	0.109
RTX 4090 24GB	24	FP16	34.6 估算	是	0.022
RTX 4090D 24GB (China)	24	FP16	34.6 估算	是	0.022
RTX 3090 Ti 24GB	24	FP16	34.6 估算	是	0.017
Mac mini M4 Pro 64GB	64	Q4	34.1 估算	是	0.016
RTX 3060 12GB	12	FP16	34.0 估算	否	0.103
RTX 4060 8GB	8	Q4	33.9 估算	是	0.113
RTX 5080 16GB	16	FP16	32.9 估算	是	0.033
RX 7900 XTX 24GB	24	FP16	32.9 估算	是	0.033
RTX 6000 Ada 48GB	48	FP16	32.9 估算	是	0.005
RTX 3090 24GB	24	FP16	32.1 估算	是	0.021
RTX 5070 Ti 16GB	16	FP16	30.7 估算	是	0.041
L40S 48GB	48	FP16	29.6 估算	是	0.004
Mac Studio M3 Ultra 96GB	96	FP16	28.1 估算	是	0.007
Mac Studio M2 Ultra 192GB	192	FP16	27.5 估算	是	0.004
RX 7900 XT 20GB	20	FP16	27.5 估算	是	0.031
RTX A6000 48GB	48	FP16	26.4 估算	是	0.006
RTX 4080 Super 16GB	16	FP16	25.3 估算	是	0.025
Arc B570 10GB	10	FP16	24.9 估算	否	0.114
RTX 4070 Ti Super 16GB	16	FP16	23.1 估算	是	0.029
RX 9070 16GB	16	FP16	22.0 估算	是	0.04
RX 9070 XT 16GB	16	FP16	22.0 估算	是	0.037
RX 7800 XT 16GB	16	FP16	21.4 估算	是	0.043
RX 7900 GRE 16GB	16	FP16	19.8 估算	是	0.036
Arc A770 16GB	16	FP16	19.2 估算	是	0.055
RTX 5060 8GB	8	FP16	18.8 估算	否	0.063
RTX 5060 Ti 8GB	8	FP16	18.8 估算	否	0.05
RTX 3070 8GB	8	FP16	18.8 估算	否	0.038
MacBook Pro M4 Max 128GB	128	FP16	18.7 估算	是	0.004
RTX 5060 Ti 16GB	16	FP16	15.4 估算	是	0.036
Mac mini M4 32GB	32	Q4	15.0 估算	是	0.015
MacBook Pro M3 Max 128GB	128	FP16	13.7 估算	是	0.003
RTX 4060 Ti 8GB	8	FP16	12.1 估算	否	0.03
RX 7600 8GB	8	FP16	12.1 估算	否	0.045
RTX 4060 8GB	8	FP16	11.4 估算	否	0.038
T4 16GB	16	FP16	11.0 估算	是	0.005
RTX 4060 Ti 16GB	16	FP16	9.9 估算	是	0.02
RX 7600 XT 16GB	16	FP16	9.9 估算	是	0.03
Mac mini M4 Pro 64GB	64	FP16	9.4 估算	是	0.004
Mac mini M4 32GB	32	FP16	4.1 估算	是	0.004

装机核对

• RTX 5090 32GB — 装得下 · ≈223.6 tok/s Q4 估算
• RTX 3090 Ti 24GB — 装得下 · ≈125.8 tok/s Q4 估算
• RTX 4090 24GB — 装得下 · ≈125.8 tok/s Q4 估算
• RTX 5080 16GB — 装得下 · ≈119.8 tok/s Q4 估算
• RTX 6000 Ada 48GB — 装得下 · ≈119.8 tok/s Q4 估算
• RX 7900 XTX 24GB — 装得下 · ≈119.8 tok/s Q4 估算
• RTX 3090 24GB — 装得下 · ≈116.8 tok/s Q4 估算
• RTX 5070 Ti 16GB — 装得下 · ≈111.8 tok/s Q4 估算
• L40S 48GB — 装得下 · ≈107.8 tok/s Q4 估算
• Mac Studio M3 Ultra 96GB — 装得下 · ≈102.2 tok/s Q4 估算
• Mac Studio M2 Ultra 192GB — 装得下 · ≈99.8 tok/s Q4 估算
• RX 7900 XT 20GB — 装得下 · ≈99.8 tok/s Q4 估算

12 款热门零售 GPU；上表每行的「装得下？」结论同样链接到完整装机核对页。

同族模型：Gemma

Gemma 4 gemma-4-E4B-it · gemma-4-12b-it · gemma-4-26B-A4B-it · gemma-4-31B-it

全部 Gemma 模型 →