目录中有 13 款 16 GB VRAM 的 GPU（RTX 5080 16GB, RTX 5070 Ti 16GB, RTX 4080 Super 16GB, RTX 4070 Ti Super 16GB, RX 9070 16GB 等 8 款）。排名采用 RTX 5080 16GB——带宽最高的 16 GB 卡（960 GB/s）——展示 63 个目录模型中能在 Q4 / 8K 上下文完整装下的 20 个（权重 + KV cache + 1 GB 开销不超过 95% VRAM），按速度排序。 方法论.
| # | 模型 | 参数 (B) | Q4 tok/s | 所需 VRAM (GB) | 装机核对 |
|---|---|---|---|---|---|
| 1 | MiniCPM5-1B | 1.08 | 565.7 估算 | 1.81 | 装机核对 |
| 2 | Qwen3.5-2B | 2.0 | 305.5 估算 | 2.5 | 装机核对 |
| 3 | gpt-oss-20b | 21.5 | 204.9 实测 | 13.55 | 装机核对 |
| 4 | Llama-3.2-3B-Instruct | 3.2 | 190.9 估算 | 3.4 | 装机核对 |
| 5 | Mistral-7B-Instruct-v0.3 | 7.2 | 163.6 实测 | 6.4 | 装机核对 |
| 6 | Qwen3-4B-Instruct-2507 | 4.0 | 152.7 估算 | 4.0 | 装机核对 |
| 7 | Qwen3-4B-Thinking-2507 | 4.0 | 152.7 估算 | 4.0 | 装机核对 |
| 8 | NVIDIA-Nemotron-3-Nano-4B-BF16 | 4.0 | 152.7 估算 | 4.0 | 装机核对 |
| 9 | Llama-3.1-8B-Instruct | 8.0 | 136.2 实测 | 7.0 | 装机核对 |
| 10 | gemma-4-E2B-it | 5.1 | 119.8 估算 | 4.83 | 装机核对 |
| 11 | Qwen2.5-7B-Instruct | 7.6 | 80.4 估算 | 6.7 | 装机核对 |
| 12 | gemma-4-E4B-it | 8.0 | 76.4 估算 | 7.0 | 装机核对 |
| 13 | Qwen3-8B | 8.2 | 74.5 估算 | 7.15 | 装机核对 |
| 14 | DeepSeek-R1-0528-Qwen3-8B | 8.2 | 74.5 估算 | 7.15 | 装机核对 |
| 15 | Qwen3.5-9B | 8.95 | 68.3 估算 | 7.71 | 装机核对 |
| 16 | Ornith-1.0-9B | 9.0 | 67.9 估算 | 7.75 | 装机核对 |
| 17 | gemma-4-12b-it | 11.95 | 51.1 估算 | 9.96 | 装机核对 |
| 18 | Qwen3-14B | 14.8 | 41.3 估算 | 12.1 | 装机核对 |
| 19 | Qwen2.5-14B-Instruct | 14.8 | 41.3 估算 | 12.1 | 装机核对 |
| 20 | DeepSeek-R1-Distill-Qwen-14B | 14.8 | 41.3 估算 | 12.1 | 装机核对 |