Mistral-Small-4-119B-2603

Mistral · 119.0B（激活 6.5B） · MoE · ctx 256K · apache-2.0 · HuggingFace

Mistral-Small-4-119B-2603（Mistral）是 AI Hashrate 收录的119.0B 参数 MoE（每 token 激活 6.5B）开放权重模型。 按 8K 上下文估算：Q4 约需 67.75 GB VRAM（权重 65.45 GB + KV 1.3 GB + 开销 1 GB），FP16 约需 240.3 GB。 在该上下文假设下，目录中约有 10 款 GPU/加速器能在 Q4 下完整装下此模型。 Q4 最快配置：B200 192GB SXM ≈ 783.2 tok/s（估算）; MI300X 192GB ≈ 518.9 tok/s（估算）; H200 141GB SXM5 ≈ 469.9 tok/s（估算）; H100 80GB SXM5 ≈ 328.0 tok/s（估算）; Gaudi 3 128GB ≈ 320.7 tok/s（估算）。 下表给出各硬件的 VRAM 装机情况与每美元 tok/s（按 MSRP 标价）。估算基于显存带宽公式；有实测时以实测为准。详见方法论页。 方法论.

33 个硬件配置——按 tok/s 排序。默认装机上下文 8K。

硬件	VRAM	量化	tok/s	装得下？	tok/s/$
B200 192GB SXM	192	Q4	783.2 估算	是	0.02
MI300X 192GB	192	Q4	518.9 估算	是	0.035
H200 141GB SXM5	141	Q4	469.9 估算	是	0.013
B200 192GB SXM	192	FP16	392.9 估算	否	0.01
H100 80GB SXM5	80	Q4	328.0 估算	是	0.011
Gaudi 3 128GB	128	Q4	320.7 估算	是	0.026
MI300X 192GB	192	FP16	260.3 估算	否	0.017
A100 80GB SXM4	80	Q4	199.6 估算	是	0.013
RTX 6000 Ada 48GB	48	Q4	134.8 估算	否	0.02
H200 141GB SXM5	141	FP16	127.1 估算	否	0.004
L40S 48GB	48	Q4	121.3 估算	否	0.015
RTX 5090 32GB	32	Q4	111.8 估算	否	0.056
RTX A6000 48GB	48	Q4	107.8 估算	否	0.024
Mac Studio M3 Ultra 96GB	96	Q4	80.2 估算	是	0.02
Mac Studio M2 Ultra 192GB	192	Q4	78.3 估算	是	0.011
Gaudi 3 128GB	128	FP16	71.5 估算	否	0.006
Mac mini M4 Pro 64GB	64	Q4	68.1 估算	否	0.031
MacBook Pro M4 Max 128GB	128	Q4	53.5 估算	是	0.012
Mac Studio M2 Ultra 192GB	192	FP16	39.3 估算	否	0.006
MacBook Pro M3 Max 128GB	128	Q4	39.2 估算	是	0.009
RTX 4090 24GB	24	Q4	35.4 估算	否	0.022
RTX 4090D 24GB (China)	24	Q4	35.4 估算	否	0.022
RTX 3090 Ti 24GB	24	Q4	35.4 估算	否	0.018
RX 7900 XTX 24GB	24	Q4	33.7 估算	否	0.034
RTX 3090 24GB	24	Q4	32.9 估算	否	0.022
H100 80GB SXM5	80	FP16	28.6 估算	否	0.001
RX 7900 XT 20GB	20	Q4	19.5 估算	否	0.022
A100 80GB SXM4	80	FP16	17.4 估算	否	0.001
MacBook Pro M4 Max 128GB	128	FP16	11.9 估算	否	0.003
Mac Studio M3 Ultra 96GB	96	FP16	10.1 估算	否	0.003
MacBook Pro M3 Max 128GB	128	FP16	8.7 估算	否	0.002
Mac mini M4 32GB	32	Q4	7.5 估算	否	0.008
Mac mini M4 Pro 64GB	64	FP16	1.5 估算	否	0.001

装机核对

• RTX 5090 32GB — 装不下 · ≈111.8 tok/s Q4 估算
• RTX 3090 Ti 24GB — 装不下 · ≈35.4 tok/s Q4 估算
• RTX 4090 24GB — 装不下 · ≈35.4 tok/s Q4 估算
• RTX 6000 Ada 48GB — 装不下 · ≈134.8 tok/s Q4 估算
• RX 7900 XTX 24GB — 装不下 · ≈33.7 tok/s Q4 估算
• RTX 3090 24GB — 装不下 · ≈32.9 tok/s Q4 估算
• L40S 48GB — 装不下 · ≈121.3 tok/s Q4 估算
• Mac Studio M3 Ultra 96GB — 装得下 · ≈80.2 tok/s Q4 估算
• Mac Studio M2 Ultra 192GB — 装得下 · ≈78.3 tok/s Q4 估算
• RX 7900 XT 20GB — 装不下 · ≈19.5 tok/s Q4 估算

12 款热门零售 GPU；上表每行的「装得下？」结论同样链接到完整装机核对页。

同族模型：Mistral

Mistral 7B Mistral-7B-Instruct-v0.3
Mistral Medium 3.5 Mistral-Medium-3.5-128B
Devstral 2 Devstral-Small-2-24B-Instruct-2512

全部 Mistral 模型 →