← AI Hashrate EN

RTX 4090 24GB

NVIDIA · 24 GB GDDR6X · 1008 GB/s · 450 W · MSRP $1,599 · GIGABYTE GeForce RTX 4090 Gaming OC 24GB （返利链接） · 更多商品

RTX 4090 24GB 是 NVIDIA 的加速器，配备 24 GB GDDR6X，峰值显存带宽约 1008 GB/s。 AI Hashrate 按 8K 上下文估算本地 LLM 解码速度（batch 1）：能否装下 = 权重 + KV cache + 1 GB 运行时开销，而非只看权重。 Q4 下约有 30 个收录模型能完整装进此卡；FP16 下约 15 个。 Q4 速度前列：MiniCPM5-1B ≈ 593.9 tok/s（估算，装得下）; Qwen3.5-2B ≈ 320.7 tok/s（估算，装得下）; gpt-oss-20b ≈ 225.2 tok/s（实测，装得下）; GLM-4.7-Flash ≈ 213.8 tok/s（估算，装得下）; Qwen3-30B-A3B-Instruct-2507 ≈ 213.8 tok/s（估算，装得下）。 相对排名比绝对 tok/s 更可靠。带宽公式与实测锚点政策见方法论页。 方法论.

表格：解码速度估算（Q4 / FP16）。实测行覆盖估算值。MSRP 为官方标价，非实时售价。默认上下文 8K。

模型参数 (B)量化tok/s装得下？
MiniCPM5-1B1.08Q4593.9 估算是
Qwen3.5-2B2.0Q4320.7 估算是
gpt-oss-20b21.5Q4225.2 实测 (llama.cpp-disc-15396)是
GLM-4.7-Flash31.2Q4213.8 估算是
Qwen3-30B-A3B-Instruct-250730.5Q4213.8 估算是
Qwen3.5-35B-A3B34.7Q4213.8 估算是
Qwen3.6-35B-A3B36.0Q4213.8 估算是
Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF1630.0Q4213.8 估算是
Ornith-1.0-35B35.0Q4213.8 估算是
Llama-3.2-3B-Instruct3.2Q4200.5 估算是
Mistral-7B-Instruct-v0.37.2Q4183.3 实测 (storagereview-rtx5080-review)是
Qwen3-Coder-Next79.7Q4170.4 估算否
gemma-4-26B-A4B-it25.2Q4168.8 估算是
Qwen3-Next-80B-A3B-Instruct81.3Q4164.0 估算否
MiniCPM5-1B1.08FP16163.3 估算是
Qwen3-4B-Instruct-25074.0Q4160.4 估算是
Qwen3-4B-Thinking-25074.0Q4160.4 估算是
NVIDIA-Nemotron-3-Nano-4B-BF164.0Q4160.4 估算是
Llama-3.1-8B-Instruct8.0Q4145.0 实测 (kunalganglani-llm-benchmarks)是
gemma-4-E2B-it5.1Q4125.8 估算是
Qwen3-8B8.2Q4104.3 实测 (singhajit-hwcorner)是
DeepSeek-R1-Distill-Qwen-14B14.8Q492.5 实测 (geerlingguy-ai-benchmarks)是
Qwen2.5-14B-Instruct14.8Q492.0 实测 (kunalganglani-llm-benchmarks)是
Qwen3.5-2B2.0FP1688.2 估算是
Qwen2.5-7B-Instruct7.6Q484.4 估算是
gemma-4-E4B-it8.0Q480.2 估算是
DeepSeek-R1-0528-Qwen3-8B8.2Q478.2 估算是
Qwen3.5-9B8.95Q471.7 估算是
Ornith-1.0-9B9.0Q471.3 估算是
Qwen3-14B14.8Q469.1 实测 (singhajit-hwcorner)是
gemma-4-31B-it30.7Q459.5 估算否
Llama-3.2-3B-Instruct3.2FP1655.1 估算是
gemma-4-12b-it11.95Q453.7 估算是
DeepSeek-R1-Distill-Qwen-32B32.8Q449.1 估算否
gpt-oss-120b120.4Q444.5 估算否
Qwen3-4B-Instruct-25074.0FP1644.1 估算是
Qwen3-4B-Thinking-25074.0FP1644.1 估算是
NVIDIA-Nemotron-3-Nano-4B-BF164.0FP1644.1 估算是
Qwen2.5-32B-Instruct32.8Q442.0 实测 (kunalganglani-llm-benchmarks)否
Qwen2.5-Coder-32B-Instruct32.8Q442.0 实测 (kunalganglani-llm-benchmarks)否
gpt-oss-20b21.5FP1640.3 估算否
Mistral-Small-4-119B-2603119.0Q435.4 估算否
gemma-4-E2B-it5.1FP1634.6 估算是
gemma-4-12b-it11.95FP1632.6 估算否
gemma-4-26B-A4B-it25.2FP1628.1 估算否
Devstral-Small-2-24B-Instruct-251224.0Q426.7 估算是
Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF1630.0FP1625.5 估算否
Qwen3-30B-A3B-Instruct-250730.5FP1624.7 估算否
Mistral-7B-Instruct-v0.37.2FP1624.5 估算是
Qwen3.5-27B27.0Q423.8 估算是
GLM-4.7-Flash31.2FP1623.6 估算否
Qwen2.5-7B-Instruct7.6FP1623.2 估算是
Qwen3.6-27B27.8Q423.1 估算是
Llama-3.1-8B-Instruct8.0FP1622.0 估算是
gemma-4-E4B-it8.0FP1622.0 估算是
Qwen3-8B8.2FP1621.5 估算是
DeepSeek-R1-0528-Qwen3-8B8.2FP1621.5 估算是
Qwen3.5-122B-A10B122.0Q421.5 估算否
GLM-4.5-Air110.5Q421.4 估算否
Qwen3.5-9B8.95FP1619.7 估算是
Ornith-1.0-9B9.0FP1619.6 估算是
Qwen3.5-35B-A3B34.7FP1619.2 估算否
Ornith-1.0-35B35.0FP1618.9 估算否
NVIDIA-Nemotron-3-Super-120B-A12B-BF16120.0Q418.3 估算否
Qwen3.6-35B-A3B36.0FP1617.9 估算否
Qwen3-14B14.8FP1617.4 估算否
Qwen2.5-14B-Instruct14.8FP1617.4 估算否
DeepSeek-R1-Distill-Qwen-14B14.8FP1617.4 估算否
Llama-4-Scout-17B-16E-Instruct109.0Q415.0 估算否
Llama-3.3-70B-Instruct70.6Q413.0 实测 (llama-cpp-bench)否
DeepSeek-V4-Flash158.1Q49.9 估算否
Qwen2.5-72B-Instruct72.7Q44.7 估算否
Devstral-Small-2-24B-Instruct-251224.0FP164.2 估算否
Llama-3.1-70B-Instruct70.6Q43.1 实测 (geerlingguy-ai-benchmarks)否
Qwen3.5-27B27.0FP162.9 估算否
Qwen3.6-27B27.8FP162.7 估算否
gemma-4-31B-it30.7FP162.0 估算否
Qwen2.5-32B-Instruct32.8FP161.7 估算否
Qwen2.5-Coder-32B-Instruct32.8FP161.7 估算否
DeepSeek-R1-Distill-Qwen-32B32.8FP161.7 估算否

装机核对

全部 63 个模型的装机核对——见上表「装得下？」列的链接