RTX 4090 24GB 的显存带宽高约 110%(1,008 对 480 GB/s)。batch-1 解码与带宽强相关,因此同能装下的模型在 RTX 4090 24GB 上解码约快 110%。 Q4/8K 下 RTX 4090 24GB 能装下的目录模型更多——69 个模型中 35 对 18(24 对 12 GB VRAM)。 能装进 RTX 4090 24GB 却装不进 Titan X Pascal 12GB 的最大模型:Qwen3.6-35B-A3B(36.0B)。 MSRP:RTX 4090 24GB 为 $1,599,Titan X Pascal 12GB 为 $1,200。MSRP 是发布标价而非实时售价——Amazon 价格会波动,点进去才是在售价格。 下方 Q4/8K 正面对比(41 个共有模型)中,RTX 4090 24GB 在 41 行 tok/s 更高,0 行落后。 方法论.
| RTX 4090 24GB | Titan X Pascal 12GB | |
|---|---|---|
| 厂商 | NVIDIA | NVIDIA |
| VRAM | 24 GB | 12 GB |
| 显存类型 | GDDR6X | GDDR5X |
| 显存带宽 | 1,008 GB/s | 480 GB/s |
| TDP | 450 W | 250 W |
| MSRP(标价) | $1,599 | $1,200 |
| 购买 | GIGABYTE GeForce RTX 4090 Gaming OC 24GB (返利链接) · 更多商品 | 搜索 Amazon (返利链接) |
| 模型 | 参数 (B) | RTX 4090 24GB tok/s | RTX 4090 24GB 装得下 | Titan X Pascal 12GB tok/s | Titan X Pascal 12GB 装得下 | 胜者 |
|---|---|---|---|---|---|---|
| MiniCPM5-1B | 1.08 | 593.9 估算 | 是 | 282.8 估算 | 是 | RTX 4090 24GB |
| Qwen3.5-2B | 2.0 | 320.7 估算 | 是 | 152.7 估算 | 是 | RTX 4090 24GB |
| DeepSeek-R1-0528-Qwen3-8B-layer-mix-bpw-3.8-mlx | 2.3 | 278.9 估算 | 是 | 132.8 估算 | 是 | RTX 4090 24GB |
| gpt-oss-20b | 21.5 | 225.2 实测 | 是 | 189.3 估算 | 否 | RTX 4090 24GB |
| Qwen3.6-35B-A3B | 36.0 | 213.8 估算 | 是 | 95.7 估算 | 否 | RTX 4090 24GB |
| Qwen3.5-35B-A3B | 34.7 | 213.8 估算 | 是 | 102.6 估算 | 否 | RTX 4090 24GB |
| GLM-4.7-Flash | 31.2 | 213.8 估算 | 是 | 118.5 估算 | 否 | RTX 4090 24GB |
| Qwen3-30B-A3B-Instruct-2507 | 30.5 | 213.8 估算 | 是 | 123.5 估算 | 否 | RTX 4090 24GB |
| Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16 | 30.0 | 213.8 估算 | 是 | 135.8 估算 | 否 | RTX 4090 24GB |
| Ornith-1.0-35B | 35.0 | 213.8 估算 | 是 | 96.0 估算 | 否 | RTX 4090 24GB |
| qwen35b-a3b-fable-sft-abliterated | 34.7 | 213.8 估算 | 是 | 97.5 估算 | 否 | RTX 4090 24GB |
| Llama-3.2-3B-Instruct | 3.2 | 200.5 估算 | 是 | 95.5 估算 | 是 | RTX 4090 24GB |
| Mistral-7B-Instruct-v0.3 | 7.2 | 183.3 实测 | 是 | 42.4 估算 | 是 | RTX 4090 24GB |
| Qwen3-Coder-Next | 79.7 | 174.1 估算 | 否 | 20.7 估算 | 否 | RTX 4090 24GB |
| gemma-4-26B-A4B-it | 25.2 | 168.8 估算 | 是 | 135.0 估算 | 否 | RTX 4090 24GB |
| RTX 4090 24GB | Titan X Pascal 12GB | |
|---|---|---|
| 装得下的目录模型 | 69 个中 35 个 | 69 个中 18 个 |
| 独占装下的最大模型 | Qwen3.6-35B-A3B (36.0B) | — |