Qwen3-Coder-30B-A3B-Instruct (Alibaba) is a 30.5B parameters MoE (3B active per token) open-weight model tracked on AI Hashrate. At 8K context we estimate roughly 18.38 GB VRAM for Q4 (weights 16.78 GB + KV 0.6 GB + 1 GB overhead) and 62.6 GB for FP16. About 22 GPUs/accelerators in our catalog fully fit this model at Q4 under that context assumption. Fastest Q4 configs: B200 192GB SXM ≈ 1697.0 tok/s (estimated); MI300X 192GB ≈ 1124.2 tok/s (estimated); H200 141GB SXM5 ≈ 1018.2 tok/s (estimated); H100 80GB SXM5 ≈ 710.6 tok/s (estimated); Gaudi 3 128GB ≈ 694.9 tok/s (estimated). Use the table below for VRAM fit and tok/s per dollar (list MSRP). Estimates follow memory-bandwidth math; measured rows override when present. See methodology for details. Methodology.
| Hardware | VRAM | Quant | tok/s | Fits? | tok/s/$ |
|---|---|---|---|---|---|
| B200 192GB SXM | 192 | Q4 | 1697.0 est. | Yes | 0.042 |
| MI300X 192GB | 192 | Q4 | 1124.2 est. | Yes | 0.075 |
| H200 141GB SXM5 | 141 | Q4 | 1018.2 est. | Yes | 0.029 |
| H100 80GB SXM5 | 80 | Q4 | 710.6 est. | Yes | 0.024 |
| Gaudi 3 128GB | 128 | Q4 | 694.9 est. | Yes | 0.056 |
| B200 192GB SXM | 192 | FP16 | 466.7 est. | Yes | 0.012 |
| RTX 5080 16GB | 16 | Q4 | 440.9 est. | No | 0.441 |
| A100 80GB SXM4 | 80 | Q4 | 432.5 est. | Yes | 0.029 |
| RTX 5070 Ti 16GB | 16 | Q4 | 411.5 est. | No | 0.549 |
| RTX 5090 32GB | 32 | Q4 | 380.1 est. | Yes | 0.19 |
| RTX 4080 Super 16GB | 16 | Q4 | 338.0 est. | No | 0.338 |
| MI300X 192GB | 192 | FP16 | 309.2 est. | Yes | 0.021 |
| RTX 4070 Ti Super 16GB | 16 | Q4 | 308.6 est. | No | 0.386 |
| RX 9070 16GB | 16 | Q4 | 293.9 est. | No | 0.535 |
| RX 9070 XT 16GB | 16 | Q4 | 293.9 est. | No | 0.491 |
| RX 7800 XT 16GB | 16 | Q4 | 286.6 est. | No | 0.574 |
| H200 141GB SXM5 | 141 | FP16 | 280.0 est. | Yes | 0.008 |
| RX 7900 GRE 16GB | 16 | Q4 | 264.5 est. | No | 0.482 |
| Arc A770 16GB | 16 | Q4 | 257.2 est. | No | 0.737 |
| RTX 4090 24GB | 24 | Q4 | 213.8 est. | Yes | 0.134 |
| RTX 4090D 24GB (China) | 24 | Q4 | 213.8 est. | Yes | 0.134 |
| RTX 3090 Ti 24GB | 24 | Q4 | 213.8 est. | Yes | 0.107 |
| RTX 5060 Ti 16GB | 16 | Q4 | 205.8 est. | No | 0.48 |
| RX 7900 XTX 24GB | 24 | Q4 | 203.6 est. | Yes | 0.204 |
| RTX 6000 Ada 48GB | 48 | Q4 | 203.6 est. | Yes | 0.03 |
| RTX 3090 24GB | 24 | Q4 | 198.5 est. | Yes | 0.132 |
| H100 80GB SXM5 | 80 | FP16 | 195.4 est. | Yes | 0.007 |
| Gaudi 3 128GB | 128 | FP16 | 191.1 est. | Yes | 0.015 |
| L40S 48GB | 48 | Q4 | 183.3 est. | Yes | 0.023 |
| Mac Studio M3 Ultra 96GB | 96 | Q4 | 173.7 est. | Yes | 0.043 |
| RTX 5070 12GB | 12 | Q4 | 173.6 est. | No | 0.316 |
| Mac Studio M2 Ultra 192GB | 192 | Q4 | 169.7 est. | Yes | 0.024 |
| RX 7900 XT 20GB | 20 | Q4 | 169.7 est. | Yes | 0.189 |
| RTX A6000 48GB | 48 | Q4 | 162.9 est. | Yes | 0.036 |
| T4 16GB | 16 | Q4 | 147.0 est. | No | 0.073 |
| RTX 4070 Ti 12GB | 12 | Q4 | 143.1 est. | No | 0.179 |
| RTX 3080 10GB | 10 | Q4 | 136.3 est. | No | 0.195 |
| RTX 4060 Ti 16GB | 16 | Q4 | 132.3 est. | No | 0.265 |
| RX 7600 XT 16GB | 16 | Q4 | 132.3 est. | No | 0.402 |
| RTX 4070 12GB | 12 | Q4 | 130.2 est. | No | 0.217 |
| RTX 4070 Super 12GB | 12 | Q4 | 130.2 est. | No | 0.217 |
| A100 80GB SXM4 | 80 | FP16 | 118.9 est. | Yes | 0.008 |
| Arc B580 12GB | 12 | Q4 | 117.8 est. | No | 0.473 |
| MacBook Pro M4 Max 128GB | 128 | Q4 | 115.8 est. | Yes | 0.026 |
| RX 7700 XT 12GB | 12 | Q4 | 111.6 est. | No | 0.249 |
| RTX 6000 Ada 48GB | 48 | FP16 | 94.1 est. | No | 0.014 |
| RTX 3060 12GB | 12 | Q4 | 93.0 est. | No | 0.283 |
| MacBook Pro M3 Max 128GB | 128 | Q4 | 84.8 est. | Yes | 0.02 |
| L40S 48GB | 48 | FP16 | 84.7 est. | No | 0.011 |
| RTX 5090 32GB | 32 | FP16 | 78.0 est. | No | 0.039 |
| RTX A6000 48GB | 48 | FP16 | 75.3 est. | No | 0.017 |
| Arc B570 10GB | 10 | Q4 | 68.2 est. | No | 0.311 |
| Mac mini M4 Pro 64GB | 64 | Q4 | 57.9 est. | Yes | 0.026 |
| RTX 5060 8GB | 8 | Q4 | 51.4 est. | No | 0.172 |
| RTX 5060 Ti 8GB | 8 | Q4 | 51.4 est. | No | 0.136 |
| RTX 3070 8GB | 8 | Q4 | 51.4 est. | No | 0.103 |
| Mac Studio M3 Ultra 96GB | 96 | FP16 | 47.8 est. | Yes | 0.012 |
| Mac mini M4 Pro 64GB | 64 | FP16 | 47.6 est. | No | 0.022 |
| Mac Studio M2 Ultra 192GB | 192 | FP16 | 46.7 est. | Yes | 0.007 |
| RTX 4060 Ti 8GB | 8 | Q4 | 33.1 est. | No | 0.083 |
| RX 7600 8GB | 8 | Q4 | 33.1 est. | No | 0.123 |
| MacBook Pro M4 Max 128GB | 128 | FP16 | 31.8 est. | Yes | 0.007 |
| RTX 4060 8GB | 8 | Q4 | 31.2 est. | No | 0.104 |
| Mac mini M4 32GB | 32 | Q4 | 25.5 est. | Yes | 0.026 |
| RTX 4090 24GB | 24 | FP16 | 24.7 est. | No | 0.015 |
| RTX 4090D 24GB (China) | 24 | FP16 | 24.7 est. | No | 0.015 |
| RTX 3090 Ti 24GB | 24 | FP16 | 24.7 est. | No | 0.012 |
| RX 7900 XTX 24GB | 24 | FP16 | 23.5 est. | No | 0.024 |
| MacBook Pro M3 Max 128GB | 128 | FP16 | 23.3 est. | Yes | 0.006 |
| RTX 3090 24GB | 24 | FP16 | 22.9 est. | No | 0.015 |
| RX 7900 XT 20GB | 20 | FP16 | 13.6 est. | No | 0.015 |
| RTX 5080 16GB | 16 | FP16 | 10.5 est. | No | 0.011 |
| RTX 5070 Ti 16GB | 16 | FP16 | 9.8 est. | No | 0.013 |
| RTX 4080 Super 16GB | 16 | FP16 | 8.0 est. | No | 0.008 |
| RTX 4070 Ti Super 16GB | 16 | FP16 | 7.3 est. | No | 0.009 |
| RX 9070 16GB | 16 | FP16 | 7.0 est. | No | 0.013 |
| RX 9070 XT 16GB | 16 | FP16 | 7.0 est. | No | 0.012 |
| RX 7800 XT 16GB | 16 | FP16 | 6.8 est. | No | 0.014 |
| RX 7900 GRE 16GB | 16 | FP16 | 6.3 est. | No | 0.011 |
| Arc A770 16GB | 16 | FP16 | 6.1 est. | No | 0.017 |
| Mac mini M4 32GB | 32 | FP16 | 5.2 est. | No | 0.005 |
| RTX 5060 Ti 16GB | 16 | FP16 | 4.9 est. | No | 0.011 |
| T4 16GB | 16 | FP16 | 3.5 est. | No | 0.002 |
| RTX 4060 Ti 16GB | 16 | FP16 | 3.1 est. | No | 0.006 |
| RX 7600 XT 16GB | 16 | FP16 | 3.1 est. | No | 0.009 |