Qwen3-Next-80B-A3B-Instruct(Alibaba)是 AI Hashrate 收录的81.3B 参数 MoE(每 token 激活 3B)开放权重模型。 按 8K 上下文估算:Q4 约需 46.32 GB VRAM(权重 44.72 GB + KV 0.6 GB + 开销 1 GB),FP16 约需 164.2 GB。 在该上下文假设下,目录中约有 11 款 GPU/加速器能在 Q4 下完整装下此模型。 Q4 最快配置:B200 192GB SXM ≈ 1697.0 tok/s(估算); MI300X 192GB ≈ 1124.2 tok/s(估算); H200 141GB SXM5 ≈ 1018.2 tok/s(估算); H100 80GB SXM5 ≈ 710.6 tok/s(估算); Gaudi 3 128GB ≈ 694.9 tok/s(估算)。 下表给出各硬件的 VRAM 装机情况与每美元 tok/s(按 MSRP 标价)。估算基于显存带宽公式;有实测时以实测为准。详见方法论页。 方法论.
| 硬件 | VRAM | 量化 | tok/s | 装得下? | tok/s/$ |
|---|---|---|---|---|---|
| B200 192GB SXM | 192 | Q4 | 1697.0 估算 | 是 | 0.042 |
| MI300X 192GB | 192 | Q4 | 1124.2 估算 | 是 | 0.075 |
| H200 141GB SXM5 | 141 | Q4 | 1018.2 估算 | 是 | 0.029 |
| H100 80GB SXM5 | 80 | Q4 | 710.6 估算 | 是 | 0.024 |
| Gaudi 3 128GB | 128 | Q4 | 694.9 估算 | 是 | 0.056 |
| RTX 6000 Ada 48GB | 48 | Q4 | 624.8 估算 | 否 | 0.092 |
| H200 141GB SXM5 | 141 | FP16 | 589.9 估算 | 否 | 0.017 |
| L40S 48GB | 48 | Q4 | 562.3 估算 | 否 | 0.07 |
| RTX 5090 32GB | 32 | Q4 | 518.3 估算 | 否 | 0.259 |
| RTX A6000 48GB | 48 | Q4 | 499.8 估算 | 否 | 0.111 |
| B200 192GB SXM | 192 | FP16 | 466.7 估算 | 是 | 0.012 |
| A100 80GB SXM4 | 80 | Q4 | 432.5 估算 | 是 | 0.029 |
| Gaudi 3 128GB | 128 | FP16 | 331.8 估算 | 否 | 0.027 |
| MI300X 192GB | 192 | FP16 | 309.2 估算 | 是 | 0.021 |
| Mac Studio M3 Ultra 96GB | 96 | Q4 | 173.7 估算 | 是 | 0.043 |
| Mac Studio M2 Ultra 192GB | 192 | Q4 | 169.7 估算 | 是 | 0.024 |
| RTX 4090 24GB | 24 | Q4 | 164.0 估算 | 否 | 0.103 |
| RTX 4090D 24GB (China) | 24 | Q4 | 164.0 估算 | 否 | 0.103 |
| RTX 3090 Ti 24GB | 24 | Q4 | 164.0 估算 | 否 | 0.082 |
| RX 7900 XTX 24GB | 24 | Q4 | 156.2 估算 | 否 | 0.156 |
| RTX 3090 24GB | 24 | Q4 | 152.3 估算 | 否 | 0.102 |
| H100 80GB SXM5 | 80 | FP16 | 132.5 估算 | 否 | 0.004 |
| MacBook Pro M4 Max 128GB | 128 | Q4 | 115.8 估算 | 是 | 0.026 |
| RX 7900 XT 20GB | 20 | Q4 | 90.4 估算 | 否 | 0.101 |
| MacBook Pro M3 Max 128GB | 128 | Q4 | 84.8 估算 | 是 | 0.02 |
| A100 80GB SXM4 | 80 | FP16 | 80.7 估算 | 否 | 0.005 |
| RTX 5080 16GB | 16 | Q4 | 69.4 估算 | 否 | 0.069 |
| RTX 5070 Ti 16GB | 16 | Q4 | 64.8 估算 | 否 | 0.087 |
| Mac mini M4 Pro 64GB | 64 | Q4 | 57.9 估算 | 是 | 0.026 |
| MacBook Pro M4 Max 128GB | 128 | FP16 | 55.3 估算 | 否 | 0.013 |
| RTX 4080 Super 16GB | 16 | Q4 | 53.2 估算 | 否 | 0.053 |
| RTX 4070 Ti Super 16GB | 16 | Q4 | 48.6 估算 | 否 | 0.061 |
| Mac Studio M2 Ultra 192GB | 192 | FP16 | 46.7 估算 | 是 | 0.007 |
| Mac Studio M3 Ultra 96GB | 96 | FP16 | 46.7 估算 | 否 | 0.012 |
| RX 9070 16GB | 16 | Q4 | 46.3 估算 | 否 | 0.084 |
| RX 9070 XT 16GB | 16 | Q4 | 46.3 估算 | 否 | 0.077 |
| RX 7800 XT 16GB | 16 | Q4 | 45.1 估算 | 否 | 0.09 |
| RX 7900 GRE 16GB | 16 | Q4 | 41.7 估算 | 否 | 0.076 |
| MacBook Pro M3 Max 128GB | 128 | FP16 | 40.5 估算 | 否 | 0.01 |
| Arc A770 16GB | 16 | Q4 | 40.5 估算 | 否 | 0.116 |
| Mac mini M4 32GB | 32 | Q4 | 34.7 估算 | 否 | 0.035 |
| RTX 5060 Ti 16GB | 16 | Q4 | 32.4 估算 | 否 | 0.076 |
| RTX 5070 12GB | 12 | Q4 | 27.3 估算 | 否 | 0.05 |
| T4 16GB | 16 | Q4 | 23.1 估算 | 否 | 0.012 |
| RTX 4070 Ti 12GB | 12 | Q4 | 22.5 估算 | 否 | 0.028 |
| RTX 4060 Ti 16GB | 16 | Q4 | 20.8 估算 | 否 | 0.042 |
| RX 7600 XT 16GB | 16 | Q4 | 20.8 估算 | 否 | 0.063 |
| RTX 4070 12GB | 12 | Q4 | 20.5 估算 | 否 | 0.034 |
| RTX 4070 Super 12GB | 12 | Q4 | 20.5 估算 | 否 | 0.034 |
| Arc B580 12GB | 12 | Q4 | 18.5 估算 | 否 | 0.074 |
| RX 7700 XT 12GB | 12 | Q4 | 17.6 估算 | 否 | 0.039 |
| RTX 3060 12GB | 12 | Q4 | 14.6 估算 | 否 | 0.044 |
| RTX 6000 Ada 48GB | 48 | FP16 | 13.7 估算 | 否 | 0.002 |
| L40S 48GB | 48 | FP16 | 12.3 估算 | 否 | 0.002 |
| RTX A6000 48GB | 48 | FP16 | 10.9 估算 | 否 | 0.002 |
| Mac mini M4 Pro 64GB | 64 | FP16 | 6.9 估算 | 否 | 0.003 |