本站把「70B 级」定义为 超过 45B 参数的开放权重模型——目录中共 29 个。下表列出 Q4 / 8K 上下文下至少能完整装下其中一个的所有目录 GPU，按其能装下模型的平均估算解码 tok/s 排名。装得下 = 权重 + KV cache + 1 GB 运行时开销不超过 95% VRAM——而非只看权重。 方法论.
| # | GPU | VRAM (GB) | 带宽 (GB/s) | MSRP | 装下数 | 平均 Q4 tok/s | 购买 |
|---|---|---|---|---|---|---|---|
| 1 | B200 192GB SXM | 192 | 8,000 | $40,000 | 18/29 | 539.5 含实测 | — |
| 2 | MI300X 192GB | 192 | 5,300 | $15,000 | 18/29 | 341.0 估算 | — |
| 3 | H200 141GB SXM5 | 141 | 4,800 | $35,000 | 15/29 | 338.0 估算 | — |
| 4 | H100 80GB SXM5 | 80 | 3,350 | $30,000 | 11/29 | 268.3 估算 | — |
| 5 | Gaudi 3 128GB | 128 | 3,276 | $12,500 | 14/29 | 232.3 估算 | — |
| 6 | RTX 6000 Ada 48GB | 48 | 960 | $6,800 | 1/29 | 203.6 估算 | 搜索 Amazon （返利链接） |
| 7 | L40S 48GB | 48 | 864 | $8,000 | 1/29 | 183.3 估算 | 搜索 Amazon （返利链接） |
| 8 | RTX A6000 48GB | 48 | 768 | $4,500 | 1/29 | 162.9 估算 | 搜索 Amazon （返利链接） |
| 9 | A100 80GB SXM4 | 80 | 2,039 | $15,000 | 11/29 | 162.3 含实测 | — |
| 10 | Mac Studio M3 Ultra 96GB | 96 | 819 | $3,999 | 12/29 | 64.0 含实测 | 搜索 Amazon （返利链接） |
| 11 | Mac Studio M2 Ultra 192GB | 192 | 800 | $6,999 | 18/29 | 50.4 含实测 | 搜索 Amazon （返利链接） |
| 12 | MacBook Pro M4 Max 128GB | 128 | 546 | $4,399 | 14/29 | 40.0 含实测 | 搜索 Amazon （返利链接） |
| 13 | MacBook Pro M3 Max 128GB | 128 | 400 | $4,199 | 14/29 | 28.7 含实测 | 搜索 Amazon （返利链接） |
| 14 | Mac mini M4 Pro 64GB | 64 | 273 | $2,199 | 5/29 | 25.1 含实测 | 搜索 Amazon （返利链接） |