目录中有 7 款 12 GB VRAM 的 GPU（RTX 5070 12GB, RTX 4070 Ti 12GB, RTX 4070 12GB, RTX 4070 Super 12GB, Arc B580 12GB 等 2 款）。排名采用 RTX 5070 12GB——带宽最高的 12 GB 卡（672 GB/s）——展示 63 个目录模型中能在 Q4 / 8K 上下文完整装下的 16 个（权重 + KV cache + 1 GB 开销不超过 95% VRAM），按速度排序。 方法论.
| # | 模型 | 参数 (B) | Q4 tok/s | 所需 VRAM (GB) | 装机核对 |
|---|---|---|---|---|---|
| 1 | MiniCPM5-1B | 1.08 | 396.0 估算 | 1.81 | 装机核对 |
| 2 | Qwen3.5-2B | 2.0 | 213.8 估算 | 2.5 | 装机核对 |
| 3 | Llama-3.2-3B-Instruct | 3.2 | 133.6 估算 | 3.4 | 装机核对 |
| 4 | Mistral-7B-Instruct-v0.3 | 7.2 | 120.5 实测 | 6.4 | 装机核对 |
| 5 | Qwen3-4B-Instruct-2507 | 4.0 | 106.9 估算 | 4.0 | 装机核对 |
| 6 | Qwen3-4B-Thinking-2507 | 4.0 | 106.9 估算 | 4.0 | 装机核对 |
| 7 | NVIDIA-Nemotron-3-Nano-4B-BF16 | 4.0 | 106.9 估算 | 4.0 | 装机核对 |
| 8 | Llama-3.1-8B-Instruct | 8.0 | 100.4 实测 | 7.0 | 装机核对 |
| 9 | gemma-4-E2B-it | 5.1 | 83.9 估算 | 4.83 | 装机核对 |
| 10 | Qwen2.5-7B-Instruct | 7.6 | 56.3 估算 | 6.7 | 装机核对 |
| 11 | gemma-4-E4B-it | 8.0 | 53.5 估算 | 7.0 | 装机核对 |
| 12 | Qwen3-8B | 8.2 | 52.2 估算 | 7.15 | 装机核对 |
| 13 | DeepSeek-R1-0528-Qwen3-8B | 8.2 | 52.2 估算 | 7.15 | 装机核对 |
| 14 | Qwen3.5-9B | 8.95 | 47.8 估算 | 7.71 | 装机核对 |
| 15 | Ornith-1.0-9B | 9.0 | 47.5 估算 | 7.75 | 装机核对 |
| 16 | gemma-4-12b-it | 11.95 | 35.8 估算 | 9.96 | 装机核对 |