← AI Hashrate EN

RTX 3090 24GB

NVIDIA · 24 GB GDDR6X · 936 GB/s · 350 W · MSRP $1,499 · MSI GeForce RTX 3090 Ventus 3X 24G OC （返利链接） · 更多商品

RTX 3090 24GB 是 NVIDIA 的加速器，配备 24 GB GDDR6X，峰值显存带宽约 936 GB/s。 AI Hashrate 按 8K 上下文估算本地 LLM 解码速度（batch 1）：能否装下 = 权重 + KV cache + 1 GB 运行时开销，而非只看权重。 Q4 下约有 30 个收录模型能完整装进此卡；FP16 下约 15 个。 Q4 速度前列：MiniCPM5-1B ≈ 551.5 tok/s（估算，装得下）; Qwen3.5-2B ≈ 297.8 tok/s（估算，装得下）; GLM-4.7-Flash ≈ 198.5 tok/s（估算，装得下）; Qwen3-30B-A3B-Instruct-2507 ≈ 198.5 tok/s（估算，装得下）; Qwen3.5-35B-A3B ≈ 198.5 tok/s（估算，装得下）。 相对排名比绝对 tok/s 更可靠。带宽公式与实测锚点政策见方法论页。 方法论.

表格：解码速度估算（Q4 / FP16）。实测行覆盖估算值。MSRP 为官方标价，非实时售价。默认上下文 8K。

模型参数 (B)量化tok/s装得下？
MiniCPM5-1B1.08Q4551.5 估算是
Qwen3.5-2B2.0Q4297.8 估算是
GLM-4.7-Flash31.2Q4198.5 估算是
Qwen3-30B-A3B-Instruct-250730.5Q4198.5 估算是
Qwen3.5-35B-A3B34.7Q4198.5 估算是
Qwen3.6-35B-A3B36.0Q4198.5 估算是
Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF1630.0Q4198.5 估算是
Ornith-1.0-35B35.0Q4198.5 估算是
Llama-3.2-3B-Instruct3.2Q4186.1 估算是
gpt-oss-20b21.5Q4161.8 实测 (llama.cpp-disc-15396)是
Qwen3-Coder-Next79.7Q4158.2 估算否
gemma-4-26B-A4B-it25.2Q4156.7 估算是
Qwen3-Next-80B-A3B-Instruct81.3Q4152.3 估算否
MiniCPM5-1B1.08FP16151.7 估算是
Qwen3-4B-Instruct-25074.0Q4148.9 估算是
Qwen3-4B-Thinking-25074.0Q4148.9 估算是
NVIDIA-Nemotron-3-Nano-4B-BF164.0Q4148.9 估算是
gemma-4-E2B-it5.1Q4116.8 估算是
Llama-3.1-8B-Instruct8.0Q492.0 实测 (kunalganglani-llm-benchmarks)是
Qwen3.5-2B2.0FP1681.9 估算是
Qwen2.5-7B-Instruct7.6Q478.4 估算是
gemma-4-E4B-it8.0Q474.5 估算是
Qwen3-8B8.2Q472.6 估算是
DeepSeek-R1-0528-Qwen3-8B8.2Q472.6 估算是
Mistral-7B-Instruct-v0.37.2Q470.0 实测 (llama-cpp-bench)是
Qwen3.5-9B8.95Q466.6 估算是
Ornith-1.0-9B9.0Q466.2 估算是
gemma-4-31B-it30.7Q455.3 估算否
Qwen2.5-14B-Instruct14.8Q455.0 实测 (kunalganglani-llm-benchmarks)是
Llama-3.2-3B-Instruct3.2FP1651.2 估算是
gemma-4-12b-it11.95Q449.8 估算是
Qwen2.5-Coder-32B-Instruct32.8Q445.6 估算否
DeepSeek-R1-Distill-Qwen-32B32.8Q445.6 估算否
gpt-oss-120b120.4Q441.3 估算否
Qwen3-4B-Instruct-25074.0FP1640.9 估算是
Qwen3-4B-Thinking-25074.0FP1640.9 估算是
NVIDIA-Nemotron-3-Nano-4B-BF164.0FP1640.9 估算是
Qwen3-14B14.8Q440.2 估算是
DeepSeek-R1-Distill-Qwen-14B14.8Q440.2 估算是
gpt-oss-20b21.5FP1637.4 估算否
Mistral-Small-4-119B-2603119.0Q432.9 估算否
gemma-4-E2B-it5.1FP1632.1 估算是
gemma-4-12b-it11.95FP1630.3 估算否
Qwen2.5-32B-Instruct32.8Q428.0 实测 (kunalganglani-llm-benchmarks)否
gemma-4-26B-A4B-it25.2FP1626.1 估算否
Devstral-Small-2-24B-Instruct-251224.0Q424.8 估算是
Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF1630.0FP1623.7 估算否
Qwen3-30B-A3B-Instruct-250730.5FP1622.9 估算否
Mistral-7B-Instruct-v0.37.2FP1622.8 估算是
Qwen3.5-27B27.0Q422.1 估算是
GLM-4.7-Flash31.2FP1621.9 估算否
Qwen2.5-7B-Instruct7.6FP1621.6 估算是
Qwen3.6-27B27.8Q421.4 估算是
Llama-3.1-8B-Instruct8.0FP1620.5 估算是
gemma-4-E4B-it8.0FP1620.5 估算是
Qwen3-8B8.2FP1620.0 估算是
DeepSeek-R1-0528-Qwen3-8B8.2FP1620.0 估算是
Qwen3.5-122B-A10B122.0Q419.9 估算否
GLM-4.5-Air110.5Q419.8 估算否
Qwen3.5-9B8.95FP1618.3 估算是
Ornith-1.0-9B9.0FP1618.2 估算是
Qwen3.5-35B-A3B34.7FP1617.8 估算否
Ornith-1.0-35B35.0FP1617.5 估算否
NVIDIA-Nemotron-3-Super-120B-A12B-BF16120.0Q417.0 估算否
Qwen3.6-35B-A3B36.0FP1616.6 估算否
Qwen3-14B14.8FP1616.2 估算否
Qwen2.5-14B-Instruct14.8FP1616.2 估算否
DeepSeek-R1-Distill-Qwen-14B14.8FP1616.2 估算否
Llama-4-Scout-17B-16E-Instruct109.0Q413.9 估算否
DeepSeek-V4-Flash158.1Q49.2 估算否
Llama-3.1-70B-Instruct70.6Q44.8 估算否
Llama-3.3-70B-Instruct70.6Q44.8 估算否
Qwen2.5-72B-Instruct72.7Q44.4 估算否
Devstral-Small-2-24B-Instruct-251224.0FP163.9 估算否
Qwen3.5-27B27.0FP162.7 估算否
Qwen3.6-27B27.8FP162.5 估算否
gemma-4-31B-it30.7FP161.9 估算否
Qwen2.5-32B-Instruct32.8FP161.5 估算否
Qwen2.5-Coder-32B-Instruct32.8FP161.5 估算否
DeepSeek-R1-Distill-Qwen-32B32.8FP161.5 估算否

装机核对

全部 63 个模型的装机核对——见上表「装得下？」列的链接