Qwen3.6-27B(Alibaba)是 AI Hashrate 收录的27.8B 参数开放权重模型。 按 8K 上下文估算:Q4 约需 21.85 GB VRAM(权重 15.29 GB + KV 5.56 GB + 开销 1 GB),FP16 约需 62.16 GB。 在该上下文假设下,目录中约有 21 款 GPU/加速器能在 Q4 下完整装下此模型。 Q4 最快配置:B200 192GB SXM ≈ 183.1 tok/s(估算); MI300X 192GB ≈ 121.3 tok/s(估算); H200 141GB SXM5 ≈ 109.9 tok/s(估算); H100 80GB SXM5 ≈ 76.7 tok/s(估算); Gaudi 3 128GB ≈ 75.0 tok/s(估算)。 下表给出各硬件的 VRAM 装机情况与每美元 tok/s(按 MSRP 标价)。估算基于显存带宽公式;有实测时以实测为准。详见方法论页。 方法论.
| 硬件 | VRAM | 量化 | tok/s | 装得下? | tok/s/$ |
|---|---|---|---|---|---|
| B200 192GB SXM | 192 | Q4 | 183.1 估算 | 是 | 0.005 |
| MI300X 192GB | 192 | Q4 | 121.3 估算 | 是 | 0.008 |
| H200 141GB SXM5 | 141 | Q4 | 109.9 估算 | 是 | 0.003 |
| H100 80GB SXM5 | 80 | Q4 | 76.7 估算 | 是 | 0.003 |
| Gaudi 3 128GB | 128 | Q4 | 75.0 估算 | 是 | 0.006 |
| B200 192GB SXM | 192 | FP16 | 50.4 估算 | 是 | 0.001 |
| A100 80GB SXM4 | 80 | Q4 | 46.7 估算 | 是 | 0.003 |
| RX 7900 XT 20GB | 20 | Q4 | 43.8 估算 | 否 | 0.049 |
| RTX 5090 32GB | 32 | Q4 | 41.0 估算 | 是 | 0.021 |
| RTX 5080 16GB | 16 | Q4 | 33.7 估算 | 否 | 0.034 |
| MI300X 192GB | 192 | FP16 | 33.4 估算 | 是 | 0.002 |
| RTX 5070 Ti 16GB | 16 | Q4 | 31.4 估算 | 否 | 0.042 |
| H200 141GB SXM5 | 141 | FP16 | 30.2 估算 | 是 | 0.001 |
| RTX 4080 Super 16GB | 16 | Q4 | 25.8 估算 | 否 | 0.026 |
| RTX 4070 Ti Super 16GB | 16 | Q4 | 23.6 估算 | 否 | 0.03 |
| RTX 4090 24GB | 24 | Q4 | 23.1 估算 | 是 | 0.014 |
| RTX 4090D 24GB (China) | 24 | Q4 | 23.1 估算 | 是 | 0.014 |
| RTX 3090 Ti 24GB | 24 | Q4 | 23.1 估算 | 是 | 0.012 |
| RX 9070 16GB | 16 | Q4 | 22.4 估算 | 否 | 0.041 |
| RX 9070 XT 16GB | 16 | Q4 | 22.4 估算 | 否 | 0.037 |
| RX 7900 XTX 24GB | 24 | Q4 | 22.0 估算 | 是 | 0.022 |
| RTX 6000 Ada 48GB | 48 | Q4 | 22.0 估算 | 是 | 0.003 |
| RX 7800 XT 16GB | 16 | Q4 | 21.9 估算 | 否 | 0.044 |
| RTX 3090 24GB | 24 | Q4 | 21.4 估算 | 是 | 0.014 |
| H100 80GB SXM5 | 80 | FP16 | 21.1 估算 | 是 | 0.001 |
| Gaudi 3 128GB | 128 | FP16 | 20.6 估算 | 是 | 0.002 |
| RX 7900 GRE 16GB | 16 | Q4 | 20.2 估算 | 否 | 0.037 |
| L40S 48GB | 48 | Q4 | 19.8 估算 | 是 | 0.002 |
| Arc A770 16GB | 16 | Q4 | 19.6 估算 | 否 | 0.056 |
| Mac Studio M3 Ultra 96GB | 96 | Q4 | 18.7 估算 | 是 | 0.005 |
| Mac Studio M2 Ultra 192GB | 192 | Q4 | 18.3 估算 | 是 | 0.003 |
| RTX A6000 48GB | 48 | Q4 | 17.6 估算 | 是 | 0.004 |
| RTX 5060 Ti 16GB | 16 | Q4 | 15.7 估算 | 否 | 0.037 |
| RTX 5070 12GB | 12 | Q4 | 13.3 估算 | 否 | 0.024 |
| A100 80GB SXM4 | 80 | FP16 | 12.8 估算 | 是 | 0.001 |
| MacBook Pro M4 Max 128GB | 128 | Q4 | 12.5 估算 | 是 | 0.003 |
| T4 16GB | 16 | Q4 | 11.2 估算 | 否 | 0.006 |
| RTX 4070 Ti 12GB | 12 | Q4 | 10.9 估算 | 否 | 0.014 |
| RTX 3080 10GB | 10 | Q4 | 10.4 估算 | 否 | 0.015 |
| RTX 6000 Ada 48GB | 48 | FP16 | 10.3 估算 | 否 | 0.002 |
| RTX 4060 Ti 16GB | 16 | Q4 | 10.1 估算 | 否 | 0.02 |
| RX 7600 XT 16GB | 16 | Q4 | 10.1 估算 | 否 | 0.031 |
| RTX 4070 12GB | 12 | Q4 | 9.9 估算 | 否 | 0.017 |
| RTX 4070 Super 12GB | 12 | Q4 | 9.9 估算 | 否 | 0.017 |
| L40S 48GB | 48 | FP16 | 9.3 估算 | 否 | 0.001 |
| MacBook Pro M3 Max 128GB | 128 | Q4 | 9.2 估算 | 是 | 0.002 |
| Arc B580 12GB | 12 | Q4 | 9.0 估算 | 否 | 0.036 |
| RTX 5090 32GB | 32 | FP16 | 8.5 估算 | 否 | 0.004 |
| RX 7700 XT 12GB | 12 | Q4 | 8.5 估算 | 否 | 0.019 |
| RTX A6000 48GB | 48 | FP16 | 8.2 估算 | 否 | 0.002 |
| RTX 3060 12GB | 12 | Q4 | 7.1 估算 | 否 | 0.022 |
| Mac mini M4 Pro 64GB | 64 | Q4 | 6.2 估算 | 是 | 0.003 |
| Arc B570 10GB | 10 | Q4 | 5.2 估算 | 否 | 0.024 |
| Mac mini M4 Pro 64GB | 64 | FP16 | 5.2 估算 | 否 | 0.002 |
| Mac Studio M3 Ultra 96GB | 96 | FP16 | 5.2 估算 | 是 | 0.001 |
| Mac Studio M2 Ultra 192GB | 192 | FP16 | 5.0 估算 | 是 | 0.001 |
| RTX 5060 8GB | 8 | Q4 | 3.9 估算 | 否 | 0.013 |
| RTX 5060 Ti 8GB | 8 | Q4 | 3.9 估算 | 否 | 0.01 |
| RTX 3070 8GB | 8 | Q4 | 3.9 估算 | 否 | 0.008 |
| MacBook Pro M4 Max 128GB | 128 | FP16 | 3.4 估算 | 是 | 0.001 |
| RTX 4090 24GB | 24 | FP16 | 2.7 估算 | 否 | 0.002 |
| RTX 4090D 24GB (China) | 24 | FP16 | 2.7 估算 | 否 | 0.002 |
| RTX 3090 Ti 24GB | 24 | FP16 | 2.7 估算 | 否 | 0.001 |
| Mac mini M4 32GB | 32 | Q4 | 2.7 估算 | 是 | 0.003 |
| RX 7900 XTX 24GB | 24 | FP16 | 2.6 估算 | 否 | 0.003 |
| RTX 3090 24GB | 24 | FP16 | 2.5 估算 | 否 | 0.002 |
| MacBook Pro M3 Max 128GB | 128 | FP16 | 2.5 估算 | 是 | 0.001 |
| RTX 4060 Ti 8GB | 8 | Q4 | 2.5 估算 | 否 | 0.006 |
| RX 7600 8GB | 8 | Q4 | 2.5 估算 | 否 | 0.009 |
| RTX 4060 8GB | 8 | Q4 | 2.4 估算 | 否 | 0.008 |
| RX 7900 XT 20GB | 20 | FP16 | 1.5 估算 | 否 | 0.002 |
| RTX 5080 16GB | 16 | FP16 | 1.1 估算 | 否 | 0.001 |
| RTX 5070 Ti 16GB | 16 | FP16 | 1.1 估算 | 否 | 0.001 |
| RTX 4080 Super 16GB | 16 | FP16 | 0.9 估算 | 否 | 0.001 |
| RTX 4070 Ti Super 16GB | 16 | FP16 | 0.8 估算 | 否 | 0.001 |
| RX 9070 16GB | 16 | FP16 | 0.8 估算 | 否 | 0.001 |
| RX 9070 XT 16GB | 16 | FP16 | 0.8 估算 | 否 | 0.001 |
| RX 7800 XT 16GB | 16 | FP16 | 0.7 估算 | 否 | 0.001 |
| RX 7900 GRE 16GB | 16 | FP16 | 0.7 估算 | 否 | 0.001 |
| Arc A770 16GB | 16 | FP16 | 0.7 估算 | 否 | 0.002 |
| Mac mini M4 32GB | 32 | FP16 | 0.6 估算 | 否 | 0.001 |
| RTX 5060 Ti 16GB | 16 | FP16 | 0.5 估算 | 否 | 0.001 |
| T4 16GB | 16 | FP16 | 0.4 估算 | 否 | 0.0 |
| RTX 4060 Ti 16GB | 16 | FP16 | 0.3 估算 | 否 | 0.001 |
| RX 7600 XT 16GB | 16 | FP16 | 0.3 估算 | 否 | 0.001 |