目录中有 6 款 8 GB VRAM 的 GPU（RTX 3070 8GB, RTX 5060 8GB, RTX 5060 Ti 8GB, RTX 4060 Ti 8GB, RX 7600 8GB 等 1 款）。排名采用 RTX 5060 Ti 8GB——带宽最高的 8 GB 卡（448 GB/s）——展示 63 个目录模型中能在 Q4 / 8K 上下文完整装下的 13 个（权重 + KV cache + 1 GB 开销不超过 95% VRAM），按速度排序。 方法论.
| # | 模型 | 参数 (B) | Q4 tok/s | 所需 VRAM (GB) | 装机核对 |
|---|---|---|---|---|---|
| 1 | MiniCPM5-1B | 1.08 | 264.0 估算 | 1.81 | 装机核对 |
| 2 | Qwen3.5-2B | 2.0 | 142.5 估算 | 2.5 | 装机核对 |
| 3 | Llama-3.2-3B-Instruct | 3.2 | 89.1 估算 | 3.4 | 装机核对 |
| 4 | Qwen3-4B-Instruct-2507 | 4.0 | 71.3 估算 | 4.0 | 装机核对 |
| 5 | Qwen3-4B-Thinking-2507 | 4.0 | 71.3 估算 | 4.0 | 装机核对 |
| 6 | NVIDIA-Nemotron-3-Nano-4B-BF16 | 4.0 | 71.3 估算 | 4.0 | 装机核对 |
| 7 | gemma-4-E2B-it | 5.1 | 55.9 估算 | 4.83 | 装机核对 |
| 8 | Mistral-7B-Instruct-v0.3 | 7.2 | 39.6 估算 | 6.4 | 装机核对 |
| 9 | Qwen2.5-7B-Instruct | 7.6 | 37.5 估算 | 6.7 | 装机核对 |
| 10 | Llama-3.1-8B-Instruct | 8.0 | 35.6 估算 | 7.0 | 装机核对 |
| 11 | gemma-4-E4B-it | 8.0 | 35.6 估算 | 7.0 | 装机核对 |
| 12 | Qwen3-8B | 8.2 | 34.8 估算 | 7.15 | 装机核对 |
| 13 | DeepSeek-R1-0528-Qwen3-8B | 8.2 | 34.8 估算 | 7.15 | 装机核对 |