Mistral-7B-Instruct-v0.3

Mistral · 7.2B · ctx 32K · Apache 2.0 · HuggingFace

Mistral-7B-Instruct-v0.3（Mistral）是 AI Hashrate 收录的7.2B 参数开放权重模型。 按 8K 上下文估算：Q4 约需 6.4 GB VRAM（权重 3.96 GB + KV 1.44 GB + 开销 1 GB），FP16 约需 16.84 GB。 在该上下文假设下，目录中约有 50 款 GPU/加速器能在 Q4 下完整装下此模型。 Q4 最快配置：B200 192GB SXM ≈ 707.1 tok/s（估算）; MI300X 192GB ≈ 468.4 tok/s（估算）; H200 141GB SXM5 ≈ 424.2 tok/s（估算）; H100 80GB SXM5 ≈ 296.1 tok/s（估算）; Gaudi 3 128GB ≈ 289.5 tok/s（估算）。 下表给出各硬件的 VRAM 装机情况与每美元 tok/s（按 MSRP 标价）。估算基于显存带宽公式；有实测时以实测为准。详见方法论页。 方法论.

100 个硬件配置——按 tok/s 排序。默认装机上下文 8K。

硬件	VRAM	量化	tok/s	装得下？	tok/s/$
B200 192GB SXM	192	Q4	707.1 估算	是	0.018
MI300X 192GB	192	Q4	468.4 估算	是	0.031
H200 141GB SXM5	141	Q4	424.2 估算	是	0.012
H100 80GB SXM5	80	Q4	296.1 估算	是	0.01
Gaudi 3 128GB	128	Q4	289.5 估算	是	0.023
RTX 5090 32GB	32	Q4	255.9 实测	是	0.128
B200 192GB SXM	192	FP16	194.4 估算	是	0.005
RTX 4090 24GB	24	Q4	183.3 实测	是	0.115
A100 80GB SXM4	80	Q4	180.2 估算	是	0.012
RTX 6000 Ada 48GB	48	Q4	166.6 实测	是	0.024
RTX 5080 16GB	16	Q4	163.6 实测	是	0.164
RTX 5070 Ti 16GB	16	Q4	160.2 实测	是	0.214
MI300X 192GB	192	FP16	128.8 估算	是	0.009
RTX 5070 12GB	12	Q4	120.5 实测	是	0.219
H200 141GB SXM5	141	FP16	116.7 估算	是	0.003
RX 9070 XT 16GB	16	Q4	103.3 实测	是	0.172
RX 9070 16GB	16	Q4	101.3 实测	是	0.185
A100 80GB SXM4	80	FP16	96.8 实测	是	0.006
RTX 5060 Ti 16GB	16	Q4	91.1 实测	是	0.212
RTX 4090D 24GB (China)	24	Q4	89.1 估算	是	0.056
RTX 3090 Ti 24GB	24	Q4	89.1 估算	是	0.045
H100 80GB SXM5	80	FP16	81.4 估算	是	0.003
Gaudi 3 128GB	128	FP16	79.6 估算	是	0.006
L40S 48GB	48	Q4	76.4 估算	是	0.01
Mac Studio M3 Ultra 96GB	96	Q4	72.4 估算	是	0.018
Mac Studio M2 Ultra 192GB	192	Q4	70.7 估算	是	0.01
RX 7900 XT 20GB	20	Q4	70.7 估算	是	0.079
RTX 3090 24GB	24	Q4	70.0 实测	是	0.047
RX 7900 XTX 24GB	24	Q4	68.0 实测	是	0.068
RTX A6000 48GB	48	Q4	67.9 估算	是	0.015
RTX 3080 10GB	10	Q4	67.2 估算	是	0.096
RTX 4080 Super 16GB	16	Q4	65.0 实测	是	0.065
RTX 5080 16GB	16	FP16	60.2 估算	否	0.06
RTX 4070 Ti Super 16GB	16	Q4	59.4 估算	是	0.074
RTX 5070 Ti 16GB	16	FP16	56.2 估算	否	0.075
RX 7800 XT 16GB	16	Q4	55.2 估算	是	0.111
RX 7900 GRE 16GB	16	Q4	50.9 估算	是	0.093
Arc A770 16GB	16	Q4	49.5 估算	是	0.142
RTX 4070 Ti 12GB	12	Q4	49.0 估算	是	0.061
MacBook Pro M4 Max 128GB	128	Q4	48.3 估算	是	0.011
RTX 4080 Super 16GB	16	FP16	46.1 估算	否	0.046
RTX 4070 12GB	12	Q4	44.5 估算	是	0.074
RTX 4070 Super 12GB	12	Q4	44.5 估算	是	0.074
RTX 5090 32GB	32	FP16	43.6 估算	是	0.022
RTX 4070 Ti Super 16GB	16	FP16	42.1 估算	否	0.053
Arc B580 12GB	12	Q4	40.3 估算	是	0.162
RX 9070 16GB	16	FP16	40.1 估算	否	0.073
RX 9070 XT 16GB	16	FP16	40.1 估算	否	0.067
RTX 5060 8GB	8	Q4	39.6 估算	是	0.132
RTX 5060 Ti 8GB	8	Q4	39.6 估算	是	0.104
RTX 3070 8GB	8	Q4	39.6 估算	是	0.079
RX 7800 XT 16GB	16	FP16	39.1 估算	否	0.078
RX 7700 XT 12GB	12	Q4	38.2 估算	是	0.085
MacBook Pro M3 Max 128GB	128	Q4	38.0 实测	是	0.009
RX 7900 GRE 16GB	16	FP16	36.1 估算	否	0.066
Arc A770 16GB	16	FP16	35.1 估算	否	0.101
Arc B570 10GB	10	Q4	33.6 估算	是	0.153
RTX 3060 12GB	12	Q4	31.8 估算	是	0.097
T4 16GB	16	Q4	28.3 估算	是	0.014
RTX 5060 Ti 16GB	16	FP16	28.1 估算	否	0.066
RTX 4060 Ti 8GB	8	Q4	25.5 估算	是	0.064
RTX 4060 Ti 16GB	16	Q4	25.5 估算	是	0.051
RX 7600 8GB	8	Q4	25.5 估算	是	0.095
RX 7600 XT 16GB	16	Q4	25.5 估算	是	0.078
RTX 4090 24GB	24	FP16	24.5 估算	是	0.015
RTX 4090D 24GB (China)	24	FP16	24.5 估算	是	0.015
RTX 3090 Ti 24GB	24	FP16	24.5 估算	是	0.012
Mac mini M4 Pro 64GB	64	Q4	24.1 估算	是	0.011
RTX 4060 8GB	8	Q4	24.0 估算	是	0.08
RTX 5070 12GB	12	FP16	23.7 估算	否	0.043
RX 7900 XTX 24GB	24	FP16	23.3 估算	是	0.023
RTX 6000 Ada 48GB	48	FP16	23.3 估算	是	0.003
RTX 3090 24GB	24	FP16	22.8 估算	是	0.015
L40S 48GB	48	FP16	21.0 估算	是	0.003
T4 16GB	16	FP16	20.1 估算	否	0.01
Mac Studio M3 Ultra 96GB	96	FP16	19.9 估算	是	0.005
RTX 4070 Ti 12GB	12	FP16	19.5 估算	否	0.024
Mac Studio M2 Ultra 192GB	192	FP16	19.4 估算	是	0.003
RX 7900 XT 20GB	20	FP16	19.4 估算	是	0.022
RTX A6000 48GB	48	FP16	18.7 估算	是	0.004
RTX 3080 10GB	10	FP16	18.6 估算	否	0.027
RTX 4060 Ti 16GB	16	FP16	18.1 估算	否	0.036
RX 7600 XT 16GB	16	FP16	18.1 估算	否	0.055
RTX 4070 12GB	12	FP16	17.8 估算	否	0.03
RTX 4070 Super 12GB	12	FP16	17.8 估算	否	0.03
Arc B580 12GB	12	FP16	16.1 估算	否	0.065
RX 7700 XT 12GB	12	FP16	15.2 估算	否	0.034
MacBook Pro M4 Max 128GB	128	FP16	13.3 估算	是	0.003
RTX 3060 12GB	12	FP16	12.7 估算	否	0.039
Mac mini M4 32GB	32	Q4	10.6 估算	是	0.011
MacBook Pro M3 Max 128GB	128	FP16	9.7 估算	是	0.002
Arc B570 10GB	10	FP16	9.3 估算	否	0.042
RTX 5060 8GB	8	FP16	7.0 估算	否	0.023
RTX 5060 Ti 8GB	8	FP16	7.0 估算	否	0.018
RTX 3070 8GB	8	FP16	7.0 估算	否	0.014
Mac mini M4 Pro 64GB	64	FP16	6.6 估算	是	0.003
RTX 4060 Ti 8GB	8	FP16	4.5 估算	否	0.011
RX 7600 8GB	8	FP16	4.5 估算	否	0.017
RTX 4060 8GB	8	FP16	4.3 估算	否	0.014
Mac mini M4 32GB	32	FP16	2.9 估算	是	0.003

装机核对

• RTX 5090 32GB — 装得下 · ≈255.9 tok/s Q4 实测
• RTX 3090 Ti 24GB — 装得下 · ≈89.1 tok/s Q4 估算
• RTX 4090 24GB — 装得下 · ≈183.3 tok/s Q4 实测
• RTX 5080 16GB — 装得下 · ≈163.6 tok/s Q4 实测
• RTX 6000 Ada 48GB — 装得下 · ≈166.6 tok/s Q4 实测
• RX 7900 XTX 24GB — 装得下 · ≈68.0 tok/s Q4 实测
• RTX 3090 24GB — 装得下 · ≈70.0 tok/s Q4 实测
• RTX 5070 Ti 16GB — 装得下 · ≈160.2 tok/s Q4 实测
• L40S 48GB — 装得下 · ≈76.4 tok/s Q4 估算
• Mac Studio M3 Ultra 96GB — 装得下 · ≈72.4 tok/s Q4 估算
• Mac Studio M2 Ultra 192GB — 装得下 · ≈70.7 tok/s Q4 估算
• RX 7900 XT 20GB — 装得下 · ≈70.7 tok/s Q4 估算

12 款热门零售 GPU；上表每行的「装得下？」结论同样链接到完整装机核对页。

同族模型：Mistral

Mistral Small 4 Mistral-Small-4-119B-2603
Mistral Medium 3.5 Mistral-Medium-3.5-128B
Devstral 2 Devstral-Small-2-24B-Instruct-2512

全部 Mistral 模型 →