Qwen3.5-397B-A17B(Alibaba)是 AI Hashrate 收录的397.0B 参数 MoE(每 token 激活 17.0B)开放权重模型。 按 8K 上下文估算:Q4 约需 222.75 GB VRAM(权重 218.35 GB + KV 3.4 GB + 开销 1 GB),FP16 约需 798.4 GB。 在该上下文假设下,目录中约有 0 款 GPU/加速器能在 Q4 下完整装下此模型。 Q4 最快配置:B200 192GB SXM ≈ 635.7 tok/s(估算); MI300X 192GB ≈ 421.1 tok/s(估算); H200 141GB SXM5 ≈ 205.7 tok/s(估算)。 下表给出各硬件的 VRAM 装机情况与每美元 tok/s(按 MSRP 标价)。估算基于显存带宽公式;有实测时以实测为准。详见方法论页。 方法论.
| 硬件 | VRAM | 量化 | tok/s | 装得下? | tok/s/$ |
|---|---|---|---|---|---|
| B200 192GB SXM | 192 | Q4 | 635.7 估算 | 否 | 0.016 |
| MI300X 192GB | 192 | Q4 | 421.1 估算 | 否 | 0.028 |
| H200 141GB SXM5 | 141 | Q4 | 205.7 估算 | 否 | 0.006 |
| Gaudi 3 128GB | 128 | Q4 | 115.7 估算 | 否 | 0.009 |
| Mac Studio M2 Ultra 192GB | 192 | Q4 | 63.6 估算 | 否 | 0.009 |
| H100 80GB SXM5 | 80 | Q4 | 46.2 估算 | 否 | 0.002 |
| A100 80GB SXM4 | 80 | Q4 | 28.1 估算 | 否 | 0.002 |
| MacBook Pro M4 Max 128GB | 128 | Q4 | 19.3 估算 | 否 | 0.004 |
| Mac Studio M3 Ultra 96GB | 96 | Q4 | 16.3 估算 | 否 | 0.004 |
| MacBook Pro M3 Max 128GB | 128 | Q4 | 14.1 估算 | 否 | 0.003 |
| Mac mini M4 Pro 64GB | 64 | Q4 | 2.4 估算 | 否 | 0.001 |