Mistral-Medium-3.5-128B（Mistral）是 AI Hashrate 收录的128.0B 参数开放权重模型。 按 8K 上下文估算：Q4 约需 97.0 GB VRAM（权重 70.4 GB + KV 25.6 GB + 开销 1 GB），FP16 约需 282.6 GB。 在该上下文假设下，目录中约有 7 款 GPU/加速器能在 Q4 下完整装下此模型。 Q4 最快配置：B200 192GB SXM ≈ 39.8 tok/s（估算）; MI300X 192GB ≈ 26.3 tok/s（估算）; H200 141GB SXM5 ≈ 23.9 tok/s（估算）; Gaudi 3 128GB ≈ 16.3 tok/s（估算）; Mac Studio M2 Ultra 192GB ≈ 4.0 tok/s（估算）。 下表给出各硬件的 VRAM 装机情况与每美元 tok/s（按 MSRP 标价）。估算基于显存带宽公式；有实测时以实测为准。详见方法论页。 方法论.
| 硬件 | VRAM | 量化 | tok/s | 装得下？ | tok/s/$ |
|---|---|---|---|---|---|
| B200 192GB SXM | 192 | Q4 | 39.8 估算 | 是 | 0.001 |
| H100 80GB SXM5 | 80 | Q4 | 32.4 估算 | 否 | 0.001 |
| MI300X 192GB | 192 | Q4 | 26.3 估算 | 是 | 0.002 |
| H200 141GB SXM5 | 141 | Q4 | 23.9 估算 | 是 | 0.001 |
| A100 80GB SXM4 | 80 | Q4 | 19.7 估算 | 否 | 0.001 |
| Gaudi 3 128GB | 128 | Q4 | 16.3 估算 | 是 | 0.001 |
| B200 192GB SXM | 192 | FP16 | 14.4 估算 | 否 | 0.0 |
| Mac Studio M3 Ultra 96GB | 96 | Q4 | 11.4 估算 | 否 | 0.003 |
| MI300X 192GB | 192 | FP16 | 9.6 估算 | 否 | 0.001 |
| H200 141GB SXM5 | 141 | FP16 | 4.7 估算 | 否 | 0.0 |
| Mac Studio M2 Ultra 192GB | 192 | Q4 | 4.0 估算 | 是 | 0.001 |
| RTX 6000 Ada 48GB | 48 | Q4 | 3.3 估算 | 否 | 0.0 |
| L40S 48GB | 48 | Q4 | 3.0 估算 | 否 | 0.0 |
| RTX 5090 32GB | 32 | Q4 | 2.8 估算 | 否 | 0.001 |
| MacBook Pro M4 Max 128GB | 128 | Q4 | 2.7 估算 | 是 | 0.001 |
| RTX A6000 48GB | 48 | Q4 | 2.7 估算 | 否 | 0.001 |
| Gaudi 3 128GB | 128 | FP16 | 2.6 估算 | 否 | 0.0 |
| MacBook Pro M3 Max 128GB | 128 | Q4 | 2.0 估算 | 是 | 0.0 |
| Mac mini M4 Pro 64GB | 64 | Q4 | 1.7 估算 | 否 | 0.001 |
| Mac Studio M2 Ultra 192GB | 192 | FP16 | 1.4 估算 | 否 | 0.0 |
| H100 80GB SXM5 | 80 | FP16 | 1.0 估算 | 否 | 0.0 |
| A100 80GB SXM4 | 80 | FP16 | 0.6 估算 | 否 | 0.0 |
| MacBook Pro M4 Max 128GB | 128 | FP16 | 0.4 估算 | 否 | 0.0 |
| Mac Studio M3 Ultra 96GB | 96 | FP16 | 0.4 估算 | 否 | 0.0 |
| MacBook Pro M3 Max 128GB | 128 | FP16 | 0.3 估算 | 否 | 0.0 |
| Mac mini M4 32GB | 32 | Q4 | 0.2 估算 | 否 | 0.0 |