24 GB VRAM 能跑哪些 LLM？

目录 63 个模型中有 30 个能在 24 GB 卡上以 Q4/8K 运行。RTX 4090 24GB 上最快的：MiniCPM5-1B, Qwen3.5-2B, gpt-oss-20b。

24 GB VRAM 装得下的最大模型是哪个？

Qwen3.6-35B-A3B（36.0B）——Q4/8K 下约需 21.4 GB，在 RTX 4090 24GB 上约 213.8 tok/s（估算）。

24 GB VRAM GPU 最佳 LLM（Q4/8K）| AI Hashrate

目录中有 5 款 24 GB VRAM 的 GPU（RTX 3090 Ti 24GB, RTX 4090 24GB, RTX 4090D 24GB (China), RX 7900 XTX 24GB, RTX 3090 24GB）。排名采用 RTX 4090 24GB——带宽最高的 24 GB 卡（1,008 GB/s）——展示 63 个目录模型中能在 Q4 / 8K 上下文完整装下的 30 个（权重 + KV cache + 1 GB 开销不超过 95% VRAM），按速度排序。方法论.

#	模型	参数 (B)	Q4 tok/s	所需 VRAM (GB)	装机核对
1	MiniCPM5-1B	1.08	593.9 估算	1.81	装机核对
2	Qwen3.5-2B	2.0	320.7 估算	2.5	装机核对
3	gpt-oss-20b	21.5	225.2 实测	13.55	装机核对
4	GLM-4.7-Flash	31.2	213.8 估算	18.76	装机核对
5	Qwen3-30B-A3B-Instruct-2507	30.5	213.8 估算	18.38	装机核对
6	Qwen3.5-35B-A3B	34.7	213.8 估算	20.69	装机核对
7	Qwen3.6-35B-A3B	36.0	213.8 估算	21.4	装机核对
8	Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16	30.0	213.8 估算	18.1	装机核对
9	Ornith-1.0-35B	35.0	213.8 估算	20.85	装机核对
10	Llama-3.2-3B-Instruct	3.2	200.5 估算	3.4	装机核对
11	Mistral-7B-Instruct-v0.3	7.2	183.3 实测	6.4	装机核对
12	gemma-4-26B-A4B-it	25.2	168.8 估算	15.62	装机核对
13	Qwen3-4B-Instruct-2507	4.0	160.4 估算	4.0	装机核对
14	Qwen3-4B-Thinking-2507	4.0	160.4 估算	4.0	装机核对
15	NVIDIA-Nemotron-3-Nano-4B-BF16	4.0	160.4 估算	4.0	装机核对
16	Llama-3.1-8B-Instruct	8.0	145.0 实测	7.0	装机核对
17	gemma-4-E2B-it	5.1	125.8 估算	4.83	装机核对
18	Qwen3-8B	8.2	104.3 实测	7.15	装机核对
19	DeepSeek-R1-Distill-Qwen-14B	14.8	92.5 实测	12.1	装机核对
20	Qwen2.5-14B-Instruct	14.8	92.0 实测	12.1	装机核对
21	Qwen2.5-7B-Instruct	7.6	84.4 估算	6.7	装机核对
22	gemma-4-E4B-it	8.0	80.2 估算	7.0	装机核对
23	DeepSeek-R1-0528-Qwen3-8B	8.2	78.2 估算	7.15	装机核对
24	Qwen3.5-9B	8.95	71.7 估算	7.71	装机核对
25	Ornith-1.0-9B	9.0	71.3 估算	7.75	装机核对
26	Qwen3-14B	14.8	69.1 实测	12.1	装机核对
27	gemma-4-12b-it	11.95	53.7 估算	9.96	装机核对
28	Devstral-Small-2-24B-Instruct-2512	24.0	26.7 估算	19.0	装机核对
29	Qwen3.5-27B	27.0	23.8 估算	21.25	装机核对
30	Qwen3.6-27B	27.8	23.1 估算	21.85	装机核对

tok/s 为带宽估算，标注「实测」的除外。所有 24 GB 卡能装下的模型集合相同、排序一致；绝对 tok/s 随各卡带宽缩放。

购买 RTX 4090 24GB：GIGABYTE GeForce RTX 4090 Gaming OC 24GB （返利链接） · 更多商品——Amazon 价格会变，点击后看到的才是在售价格。

24 GB VRAM 最佳模型