Nanbeige4.2-3B (Nanbeige) is a 4.0B parameters open-weight model tracked on AI Hashrate. At 8K context we estimate roughly 4.08 GB VRAM for Q4 (weights 2.2 GB + KV 0.88 GB + 1 GB overhead) and 9.88 GB for FP16. About 63 GPUs/accelerators in our catalog fully fit this model at Q4 under that context assumption. Fastest Q4 configs: B200 192GB SXM ≈ 1913.5 tok/s (estimated); MI300X 192GB ≈ 1251.0 tok/s (estimated); H200 141GB SXM5 ≈ 1148.1 tok/s (estimated); H100 80GB SXM5 ≈ 801.3 tok/s (estimated); Gaudi 3 128GB ≈ 773.3 tok/s (estimated). Use the table below for VRAM fit and tok/s per dollar (list MSRP). Estimates follow memory-bandwidth math; measured rows override when present. See methodology for details. Methodology.
| Hardware | VRAM | Quant | tok/s | Fits? | tok/s/$ |
|---|---|---|---|---|---|
| B200 192GB SXM | 192 | Q4 | 1913.5 est. | Yes | 0.048 |
| MI300X 192GB | 192 | Q4 | 1251.0 est. | Yes | 0.083 |
| H200 141GB SXM5 | 141 | Q4 | 1148.1 est. | Yes | 0.033 |
| H100 80GB SXM5 | 80 | Q4 | 801.3 est. | Yes | 0.027 |
| Gaudi 3 128GB | 128 | Q4 | 773.3 est. | Yes | 0.062 |
| B200 192GB SXM | 192 | FP16 | 526.2 est. | Yes | 0.013 |
| A100 80GB SXM4 | 80 | Q4 | 487.7 est. | Yes | 0.033 |
| RTX 5090 32GB | 32 | Q4 | 428.6 est. | Yes | 0.214 |
| MI300X 192GB | 192 | FP16 | 344.0 est. | Yes | 0.023 |
| H200 141GB SXM5 | 141 | FP16 | 315.7 est. | Yes | 0.009 |
| H100 80GB SXM5 | 80 | FP16 | 220.3 est. | Yes | 0.007 |
| RTX 4090 24GB | 24 | Q4 | 219.1 est. | Yes | 0.137 |
| RTX 4090D 24GB (China) | 24 | Q4 | 219.1 est. | Yes | 0.137 |
| RTX 3090 Ti 24GB | 24 | Q4 | 219.1 est. | Yes | 0.11 |
| Gaudi 3 128GB | 128 | FP16 | 212.7 est. | Yes | 0.017 |
| RTX 5080 16GB | 16 | Q4 | 208.7 est. | Yes | 0.209 |
| RTX 6000 Ada 48GB | 48 | Q4 | 208.7 est. | Yes | 0.031 |
| RTX 3090 24GB | 24 | Q4 | 203.5 est. | Yes | 0.136 |
| V100 32GB SXM2 | 32 | Q4 | 195.7 est. | Yes | 0.02 |
| V100 16GB PCIe | 16 | Q4 | 195.7 est. | Yes | 0.024 |
| RTX 5070 Ti 16GB | 16 | Q4 | 194.8 est. | Yes | 0.26 |
| MacBook Pro M4 Max 128GB | 128 | Q4 | 192.5 est. | Yes | 0.044 |
| L40S 48GB | 48 | Q4 | 187.8 est. | Yes | 0.023 |
| RX 7900 XTX 24GB | 24 | Q4 | 179.7 est. | Yes | 0.18 |
| RTX A6000 48GB | 48 | Q4 | 178.1 est. | Yes | 0.04 |
| RX 9070 16GB | 16 | Q4 | 176.7 est. | Yes | 0.322 |
| RX 9070 XT 16GB | 16 | Q4 | 176.7 est. | Yes | 0.295 |
| RTX 3080 10GB | 10 | Q4 | 176.3 est. | Yes | 0.252 |
| RX 7800 XT 16GB | 16 | Q4 | 172.3 est. | Yes | 0.345 |
| RTX 4080 Super 16GB | 16 | Q4 | 170.7 est. | Yes | 0.171 |
| RX 7900 GRE 16GB | 16 | Q4 | 159.0 est. | Yes | 0.29 |
| RTX 4070 Ti Super 16GB | 16 | Q4 | 155.8 est. | Yes | 0.195 |
| RTX 5070 12GB | 12 | Q4 | 155.8 est. | Yes | 0.284 |
| Titan V 12GB | 12 | Q4 | 151.4 est. | Yes | 0.05 |
| RX 7900 XT 20GB | 20 | Q4 | 149.7 est. | Yes | 0.167 |
| Arc Pro B70 32GB | 32 | Q4 | 143.5 est. | Yes | 0.144 |
| MacBook Pro M1 Max 32GB | 32 | Q4 | 141.0 est. | Yes | 0.043 |
| MacBook Pro M1 Max 64GB | 64 | Q4 | 141.0 est. | Yes | 0.036 |
| MacBook Pro M3 Max 128GB | 128 | Q4 | 141.0 est. | Yes | 0.034 |
| A100 80GB SXM4 | 80 | FP16 | 134.1 est. | Yes | 0.009 |
| Arc A770 16GB | 16 | Q4 | 132.2 est. | Yes | 0.379 |
| RTX 4070 Ti 12GB | 12 | Q4 | 128.5 est. | Yes | 0.161 |
| Titan Xp 12GB | 12 | Q4 | 127.1 est. | Yes | 0.106 |
| RX 7700 XT 12GB | 12 | Q4 | 119.3 est. | Yes | 0.266 |
| RTX 5090 32GB | 32 | FP16 | 117.9 est. | Yes | 0.059 |
| RTX 4070 12GB | 12 | Q4 | 116.9 est. | Yes | 0.195 |
| RTX 4070 Super 12GB | 12 | Q4 | 116.9 est. | Yes | 0.195 |
| DGX Spark (GH200 480GB) | 480 | Q4 | 116.0 est. | Yes | 0.039 |
| Mac Studio M3 Ultra 96GB | 96 | Q4 | 115.3 est. | Yes | 0.029 |
| Mac Studio M2 Ultra 192GB | 192 | Q4 | 112.7 est. | Yes | 0.016 |
| Titan X Pascal 12GB | 12 | Q4 | 111.3 est. | Yes | 0.093 |
| Arc B580 12GB | 12 | Q4 | 107.6 est. | Yes | 0.432 |
| RTX 5060 8GB | 8 | Q4 | 103.9 est. | Yes | 0.347 |
| RTX 5060 Ti 8GB | 8 | Q4 | 103.9 est. | Yes | 0.274 |
| RTX 5060 Ti 16GB | 16 | Q4 | 103.9 est. | Yes | 0.242 |
| RTX 3070 8GB | 8 | Q4 | 103.9 est. | Yes | 0.208 |
| RTX 3060 12GB | 12 | Q4 | 93.1 est. | Yes | 0.283 |
| Arc B570 10GB | 10 | Q4 | 89.7 est. | Yes | 0.41 |
| Mac mini M4 Pro 64GB | 64 | Q4 | 87.5 est. | Yes | 0.04 |
| T4 16GB | 16 | Q4 | 82.8 est. | Yes | 0.041 |
| RTX 4060 Ti 8GB | 8 | Q4 | 74.5 est. | Yes | 0.187 |
| RTX 4060 Ti 16GB | 16 | Q4 | 74.5 est. | Yes | 0.149 |
| RTX 4060 8GB | 8 | Q4 | 70.3 est. | Yes | 0.235 |
| RX 7600 8GB | 8 | Q4 | 68.0 est. | Yes | 0.253 |
| RX 7600 XT 16GB | 16 | Q4 | 68.0 est. | Yes | 0.207 |
| RTX 4090 24GB | 24 | FP16 | 60.3 est. | Yes | 0.038 |
| RTX 4090D 24GB (China) | 24 | FP16 | 60.3 est. | Yes | 0.038 |
| RTX 3090 Ti 24GB | 24 | FP16 | 60.3 est. | Yes | 0.03 |
| RTX 5080 16GB | 16 | FP16 | 57.4 est. | Yes | 0.057 |
| RTX 6000 Ada 48GB | 48 | FP16 | 57.4 est. | Yes | 0.008 |
| RTX 3090 24GB | 24 | FP16 | 56.0 est. | Yes | 0.037 |
| V100 32GB SXM2 | 32 | FP16 | 53.8 est. | Yes | 0.005 |
| V100 16GB PCIe | 16 | FP16 | 53.8 est. | Yes | 0.007 |
| RTX 5070 Ti 16GB | 16 | FP16 | 53.6 est. | Yes | 0.072 |
| MacBook Pro M4 Max 128GB | 128 | FP16 | 52.9 est. | Yes | 0.012 |
| L40S 48GB | 48 | FP16 | 51.7 est. | Yes | 0.006 |
| Ryzen AI Max+ 395 128GB | 96 | Q4 | 50.7 est. | Yes | 0.025 |
| Ryzen AI Max+ 395 64GB | 48 | Q4 | 50.7 est. | Yes | 0.034 |
| Ryzen AI Max 390 64GB | 48 | Q4 | 50.7 est. | Yes | 0.039 |
| Tesla P4 8GB | 8 | Q4 | 49.7 est. | Yes | 0.621 |
| RX 7900 XTX 24GB | 24 | FP16 | 49.4 est. | Yes | 0.049 |
| RTX A6000 48GB | 48 | FP16 | 49.0 est. | Yes | 0.011 |
| RX 9070 16GB | 16 | FP16 | 48.6 est. | Yes | 0.089 |
| RX 9070 XT 16GB | 16 | FP16 | 48.6 est. | Yes | 0.081 |
| RTX 3080 10GB | 10 | FP16 | 48.5 est. | Tight | 0.069 |
| RX 7800 XT 16GB | 16 | FP16 | 47.4 est. | Yes | 0.095 |
| RTX 4080 Super 16GB | 16 | FP16 | 46.9 est. | Yes | 0.047 |
| Arc B570 10GB | 10 | FP16 | 43.9 est. | No | 0.2 |
| RX 7900 GRE 16GB | 16 | FP16 | 43.7 est. | Yes | 0.08 |
| RTX 4070 Ti Super 16GB | 16 | FP16 | 42.9 est. | Yes | 0.054 |
| RTX 5070 12GB | 12 | FP16 | 42.9 est. | Yes | 0.078 |
| Titan V 12GB | 12 | FP16 | 41.6 est. | Yes | 0.014 |
| RX 7900 XT 20GB | 20 | FP16 | 41.2 est. | Yes | 0.046 |
| Arc Pro B70 32GB | 32 | FP16 | 39.5 est. | Yes | 0.04 |
| MacBook Pro M1 Max 32GB | 32 | FP16 | 38.8 est. | Yes | 0.012 |
| MacBook Pro M1 Max 64GB | 64 | FP16 | 38.8 est. | Yes | 0.01 |
| MacBook Pro M3 Max 128GB | 128 | FP16 | 38.8 est. | Yes | 0.009 |
| Mac mini M4 32GB | 32 | Q4 | 38.5 est. | Yes | 0.039 |
| RTX 5060 8GB | 8 | FP16 | 36.5 est. | No | 0.122 |
| RTX 5060 Ti 8GB | 8 | FP16 | 36.5 est. | No | 0.096 |
| RTX 3070 8GB | 8 | FP16 | 36.5 est. | No | 0.073 |
| Arc A770 16GB | 16 | FP16 | 36.4 est. | Yes | 0.104 |
| RTX 4070 Ti 12GB | 12 | FP16 | 35.3 est. | Yes | 0.044 |
| Titan Xp 12GB | 12 | FP16 | 34.9 est. | Yes | 0.029 |
| RX 7700 XT 12GB | 12 | FP16 | 32.8 est. | Yes | 0.073 |
| RTX 4070 12GB | 12 | FP16 | 32.1 est. | Yes | 0.054 |
| RTX 4070 Super 12GB | 12 | FP16 | 32.1 est. | Yes | 0.054 |
| DGX Spark (GH200 480GB) | 480 | FP16 | 31.9 est. | Yes | 0.011 |
| Mac Studio M3 Ultra 96GB | 96 | FP16 | 31.7 est. | Yes | 0.008 |
| Mac Studio M2 Ultra 192GB | 192 | FP16 | 31.0 est. | Yes | 0.004 |
| Titan X Pascal 12GB | 12 | FP16 | 30.6 est. | Yes | 0.026 |
| Arc B580 12GB | 12 | FP16 | 29.6 est. | Yes | 0.119 |
| RTX 5060 Ti 16GB | 16 | FP16 | 28.6 est. | Yes | 0.067 |
| RTX 3060 12GB | 12 | FP16 | 25.6 est. | Yes | 0.078 |
| Mac mini M4 Pro 64GB | 64 | FP16 | 24.1 est. | Yes | 0.011 |
| RTX 4060 Ti 8GB | 8 | FP16 | 23.5 est. | No | 0.059 |
| RX 7600 8GB | 8 | FP16 | 23.5 est. | No | 0.087 |
| T4 16GB | 16 | FP16 | 22.8 est. | Yes | 0.011 |
| RTX 4060 8GB | 8 | FP16 | 22.2 est. | No | 0.074 |
| RTX 4060 Ti 16GB | 16 | FP16 | 20.5 est. | Yes | 0.041 |
| RX 7600 XT 16GB | 16 | FP16 | 18.7 est. | Yes | 0.057 |
| Tesla P4 8GB | 8 | FP16 | 15.6 est. | No | 0.195 |
| Ryzen AI Max+ 395 128GB | 96 | FP16 | 14.0 est. | Yes | 0.007 |
| Ryzen AI Max+ 395 64GB | 48 | FP16 | 14.0 est. | Yes | 0.009 |
| Ryzen AI Max 390 64GB | 48 | FP16 | 14.0 est. | Yes | 0.011 |
| Mac mini M4 32GB | 32 | FP16 | 10.6 est. | Yes | 0.011 |
Fit checks
- RTX 5090 32GB — fits · ≈428.6 tok/s Q4 est.
- RTX 3090 Ti 24GB — fits · ≈219.1 tok/s Q4 est.
- RTX 4090 24GB — fits · ≈219.1 tok/s Q4 est.
- RTX 5080 16GB — fits · ≈208.7 tok/s Q4 est.
- RTX 6000 Ada 48GB — fits · ≈208.7 tok/s Q4 est.
- RX 7900 XTX 24GB — fits · ≈179.7 tok/s Q4 est.
- RTX 3090 24GB — fits · ≈203.5 tok/s Q4 est.
- RTX 5070 Ti 16GB — fits · ≈194.8 tok/s Q4 est.
- L40S 48GB — fits · ≈187.8 tok/s Q4 est.
- Mac Studio M3 Ultra 96GB — fits · ≈115.3 tok/s Q4 est.
- Mac Studio M2 Ultra 192GB — fits · ≈112.7 tok/s Q4 est.
- RX 7900 XT 20GB — fits · ≈149.7 tok/s Q4 est.
Same family: Nanbeige