MiniCPM5-1B

OpenBMB · 1.08B · ctx 128K · apache-2.0 · HuggingFace

MiniCPM5-1B（OpenBMB）是 AI Hashrate 收录的1.08B 参数开放权重模型。按 8K 上下文估算：Q4 约需 1.81 GB VRAM（权重 0.59 GB + KV 0.22 GB + 开销 1 GB），FP16 约需 3.38 GB。在该上下文假设下，目录中约有 50 款 GPU/加速器能在 Q4 下完整装下此模型。 Q4 最快配置：B200 192GB SXM ≈ 4713.8 tok/s（估算）; MI300X 192GB ≈ 3122.9 tok/s（估算）; H200 141GB SXM5 ≈ 2828.3 tok/s（估算）; H100 80GB SXM5 ≈ 1973.9 tok/s（估算）; Gaudi 3 128GB ≈ 1930.3 tok/s（估算）。下表给出各硬件的 VRAM 装机情况与每美元 tok/s（按 MSRP 标价）。估算基于显存带宽公式；有实测时以实测为准。详见方法论页。方法论.

100 个硬件配置——按 tok/s 排序。默认装机上下文 8K。

硬件	VRAM	量化	tok/s	装得下？	tok/s/$
B200 192GB SXM	192	Q4	4713.8 估算	是	0.118
MI300X 192GB	192	Q4	3122.9 估算	是	0.208
H200 141GB SXM5	141	Q4	2828.3 估算	是	0.081
H100 80GB SXM5	80	Q4	1973.9 估算	是	0.066
Gaudi 3 128GB	128	Q4	1930.3 估算	是	0.154
B200 192GB SXM	192	FP16	1296.3 估算	是	0.032
A100 80GB SXM4	80	Q4	1201.4 估算	是	0.08
RTX 5090 32GB	32	Q4	1055.9 估算	是	0.528
MI300X 192GB	192	FP16	858.8 估算	是	0.057
H200 141GB SXM5	141	FP16	777.8 估算	是	0.022
RTX 4090 24GB	24	Q4	593.9 估算	是	0.371
RTX 4090D 24GB (China)	24	Q4	593.9 估算	是	0.371
RTX 3090 Ti 24GB	24	Q4	593.9 估算	是	0.297
RTX 5080 16GB	16	Q4	565.7 估算	是	0.566
RX 7900 XTX 24GB	24	Q4	565.7 估算	是	0.566
RTX 6000 Ada 48GB	48	Q4	565.7 估算	是	0.083
RTX 3090 24GB	24	Q4	551.5 估算	是	0.368
H100 80GB SXM5	80	FP16	542.8 估算	是	0.018
Gaudi 3 128GB	128	FP16	530.8 估算	是	0.042
RTX 5070 Ti 16GB	16	Q4	527.9 估算	是	0.705
L40S 48GB	48	Q4	509.1 估算	是	0.064
Mac Studio M3 Ultra 96GB	96	Q4	482.6 估算	是	0.121
Mac Studio M2 Ultra 192GB	192	Q4	471.4 估算	是	0.067
RX 7900 XT 20GB	20	Q4	471.4 估算	是	0.524
RTX A6000 48GB	48	Q4	452.5 估算	是	0.101
RTX 3080 10GB	10	Q4	447.8 估算	是	0.641
RTX 4080 Super 16GB	16	Q4	433.7 估算	是	0.434
RTX 4070 Ti Super 16GB	16	Q4	396.0 估算	是	0.496
RTX 5070 12GB	12	Q4	396.0 估算	是	0.721
RX 9070 16GB	16	Q4	377.1 估算	是	0.687
RX 9070 XT 16GB	16	Q4	377.1 估算	是	0.63
RX 7800 XT 16GB	16	Q4	367.7 估算	是	0.737
RX 7900 GRE 16GB	16	Q4	339.4 估算	是	0.618
A100 80GB SXM4	80	FP16	330.4 估算	是	0.022
Arc A770 16GB	16	Q4	330.0 估算	是	0.946
RTX 4070 Ti 12GB	12	Q4	326.4 估算	是	0.409
MacBook Pro M4 Max 128GB	128	Q4	321.7 估算	是	0.073
RTX 4070 12GB	12	Q4	297.0 估算	是	0.496
RTX 4070 Super 12GB	12	Q4	297.0 估算	是	0.496
RTX 5090 32GB	32	FP16	290.4 估算	是	0.145
Arc B580 12GB	12	Q4	268.7 估算	是	1.079
RTX 5060 8GB	8	Q4	264.0 估算	是	0.883
RTX 5060 Ti 8GB	8	Q4	264.0 估算	是	0.697
RTX 5060 Ti 16GB	16	Q4	264.0 估算	是	0.615
RTX 3070 8GB	8	Q4	264.0 估算	是	0.529
RX 7700 XT 12GB	12	Q4	254.5 估算	是	0.567
MacBook Pro M3 Max 128GB	128	Q4	235.7 估算	是	0.056
Arc B570 10GB	10	Q4	223.9 估算	是	1.022
RTX 3060 12GB	12	Q4	212.1 估算	是	0.645
T4 16GB	16	Q4	188.6 估算	是	0.094
RTX 4060 Ti 8GB	8	Q4	169.7 估算	是	0.425
RTX 4060 Ti 16GB	16	Q4	169.7 估算	是	0.34
RX 7600 8GB	8	Q4	169.7 估算	是	0.631
RX 7600 XT 16GB	16	Q4	169.7 估算	是	0.516
RTX 4090 24GB	24	FP16	163.3 估算	是	0.102
RTX 4090D 24GB (China)	24	FP16	163.3 估算	是	0.102
RTX 3090 Ti 24GB	24	FP16	163.3 估算	是	0.082
Mac mini M4 Pro 64GB	64	Q4	160.9 估算	是	0.073
RTX 4060 8GB	8	Q4	160.3 估算	是	0.536
RTX 5080 16GB	16	FP16	155.6 估算	是	0.156
RX 7900 XTX 24GB	24	FP16	155.6 估算	是	0.156
RTX 6000 Ada 48GB	48	FP16	155.6 估算	是	0.023
RTX 3090 24GB	24	FP16	151.7 估算	是	0.101
RTX 5070 Ti 16GB	16	FP16	145.2 估算	是	0.194
L40S 48GB	48	FP16	140.0 估算	是	0.018
Mac Studio M3 Ultra 96GB	96	FP16	132.7 估算	是	0.033
Mac Studio M2 Ultra 192GB	192	FP16	129.6 估算	是	0.019
RX 7900 XT 20GB	20	FP16	129.6 估算	是	0.144
RTX A6000 48GB	48	FP16	124.4 估算	是	0.028
RTX 3080 10GB	10	FP16	123.1 估算	是	0.176
RTX 4080 Super 16GB	16	FP16	119.3 估算	是	0.119
RTX 4070 Ti Super 16GB	16	FP16	108.9 估算	是	0.136
RTX 5070 12GB	12	FP16	108.9 估算	是	0.198
RX 9070 16GB	16	FP16	103.7 估算	是	0.189
RX 9070 XT 16GB	16	FP16	103.7 估算	是	0.173
RX 7800 XT 16GB	16	FP16	101.1 估算	是	0.203
RX 7900 GRE 16GB	16	FP16	93.3 估算	是	0.17
Arc A770 16GB	16	FP16	90.7 估算	是	0.26
RTX 4070 Ti 12GB	12	FP16	89.8 估算	是	0.112
MacBook Pro M4 Max 128GB	128	FP16	88.5 估算	是	0.02
RTX 4070 12GB	12	FP16	81.7 估算	是	0.136
RTX 4070 Super 12GB	12	FP16	81.7 估算	是	0.136
Arc B580 12GB	12	FP16	73.9 估算	是	0.297
RTX 5060 8GB	8	FP16	72.6 估算	是	0.243
RTX 5060 Ti 8GB	8	FP16	72.6 估算	是	0.192
RTX 5060 Ti 16GB	16	FP16	72.6 估算	是	0.169
RTX 3070 8GB	8	FP16	72.6 估算	是	0.145
Mac mini M4 32GB	32	Q4	70.7 估算	是	0.071
RX 7700 XT 12GB	12	FP16	70.0 估算	是	0.156
MacBook Pro M3 Max 128GB	128	FP16	64.8 估算	是	0.015
Arc B570 10GB	10	FP16	61.6 估算	是	0.281
RTX 3060 12GB	12	FP16	58.3 估算	是	0.177
T4 16GB	16	FP16	51.9 估算	是	0.026
RTX 4060 Ti 8GB	8	FP16	46.7 估算	是	0.117
RTX 4060 Ti 16GB	16	FP16	46.7 估算	是	0.094
RX 7600 8GB	8	FP16	46.7 估算	是	0.174
RX 7600 XT 16GB	16	FP16	46.7 估算	是	0.142
Mac mini M4 Pro 64GB	64	FP16	44.2 估算	是	0.02
RTX 4060 8GB	8	FP16	44.1 估算	是	0.147
Mac mini M4 32GB	32	FP16	19.4 估算	是	0.019

装机核对

RTX 5090 32GB — 装得下 · ≈1055.9 tok/s Q4 估算
RTX 3090 Ti 24GB — 装得下 · ≈593.9 tok/s Q4 估算
RTX 4090 24GB — 装得下 · ≈593.9 tok/s Q4 估算
RTX 5080 16GB — 装得下 · ≈565.7 tok/s Q4 估算
RTX 6000 Ada 48GB — 装得下 · ≈565.7 tok/s Q4 估算
RX 7900 XTX 24GB — 装得下 · ≈565.7 tok/s Q4 估算
RTX 3090 24GB — 装得下 · ≈551.5 tok/s Q4 估算
RTX 5070 Ti 16GB — 装得下 · ≈527.9 tok/s Q4 估算
L40S 48GB — 装得下 · ≈509.1 tok/s Q4 估算
Mac Studio M3 Ultra 96GB — 装得下 · ≈482.6 tok/s Q4 估算
Mac Studio M2 Ultra 192GB — 装得下 · ≈471.4 tok/s Q4 估算
RX 7900 XT 20GB — 装得下 · ≈471.4 tok/s Q4 估算

12 款热门零售 GPU；上表每行的「装得下？」结论同样链接到完整装机核对页。

装机核对

同族模型：MiniCPM（面壁智能）