跑 MoE 模型需要什么 GPU？

Q4 / 8K 上下文下，目录中 22 个 MoE 模型约需 13.55–174.5 GB VRAM（权重 + KV cache + 1 GB 开销）。22 个中 22 个至少能被一款收录的零售 GPU 完整装下；本页最常见的性价比之选是 Mac Studio M3 Ultra 96GB（MSRP $3,999——标价，非实时售价）。

像 RTX 4090 24GB 这样的 24 GB 卡能跑 MoE 模型吗？

22 个中有 8 个可以（Q4/8K）：gpt-oss-20b, gemma-4-26B-A4B-it, Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16, Qwen3-30B-A3B-Instruct-2507 等 4 个。其余在 8K 上下文下需要超过 24 GB——各模型的最低需求见表。

MoE 模型应该跑 Q4 还是 FP16？

Q4。FP16 权重约为 Q4 的 3.6 倍（每参数 2.0 对 0.55 字节），同一模型 FP16 需要大得多的卡。本页按典型的本地配置 Q4 / 8K 上下文排名；每个链接的装机核对页也给出 FP16 结论。

为什么 MoE 模型相对其尺寸跑得更快？

MoE（混合专家）模型要存全部参数（决定 VRAM 需求），但每个 token 只激活其中一小部分——而解码速度取决于激活部分。所以 30B MoE（3B 激活）在同一张 GPU 上比 dense 30B 快得多。本站的装机公式用总参数，tok/s 公式用激活参数。

可在本地运行的 MoE 模型最佳 GPU——Q4/8K 装机与 tok/s

Q: 跑 MoE 模型 需要什么 GPU？

Q4 / 8K 上下文下，目录中 22 个 MoE 模型 约需 13.55–174.5 GB VRAM（权重 + KV cache + 1 GB 开销）。22 个中 22 个至少能被一款收录的零售 GPU 完整装下；本页最常见的性价比之选是 Mac Studio M3 Ultra 96GB（MSRP $3,999——标价，非实时售价）。

目录收录 22 个 MoE 模型（21.5B–310 参数）。下表为每个模型给出 Q4 / 8K 上下文下能完整装下它的最便宜零售 GPU 与最快零售 GPU，含解码 tok/s。装得下 = 权重 + KV cache + 1 GB 运行时开销不超过 95% VRAM——而非只看权重。仅列出至少能被一款目录内零售 GPU 完整装下的 MoE 模型；更大的 MoE 模型只能上数据中心。方法论.

#	模型	参数	Q4/8K 需求 (GB)	性价比 GPU（可装下）	最快零售 GPU	购买
1	gpt-oss-20b	21.5B MoE 激活 3.6B	13.55	RX 7600 XT 16GB ≈50.9 tok/s 估算	RTX 5090 32GB ≈282.5 tok/s 实测	搜索 Amazon （返利链接）
2	gemma-4-26B-A4B-it	25.2B MoE 激活 3.8B	15.62	RX 7900 XT 20GB ≈134.0 tok/s 估算	RTX 5090 32GB ≈300.1 tok/s 估算	搜索 Amazon （返利链接）
3	Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16	30.0B MoE 激活 3.0B	18.1	RX 7900 XT 20GB ≈169.7 tok/s 估算	RTX 5090 32GB ≈380.1 tok/s 估算	搜索 Amazon （返利链接）
4	Qwen3-30B-A3B-Instruct-2507	30.5B MoE 激活 3B	18.38	RX 7900 XT 20GB ≈169.7 tok/s 估算	RTX 5090 32GB ≈380.1 tok/s 估算	搜索 Amazon （返利链接）
5	GLM-4.7-Flash	31.2B MoE 激活 3B	18.76	RX 7900 XT 20GB ≈169.7 tok/s 估算	RTX 5090 32GB ≈380.1 tok/s 估算	搜索 Amazon （返利链接）
6	Qwen3.5-35B-A3B	34.7B MoE 激活 3.0B	20.69	RX 7900 XTX 24GB ≈203.6 tok/s 估算	RTX 5090 32GB ≈380.1 tok/s 估算	ASRock Radeon RX 7900 XTX Phantom Gaming 24GB OC （返利链接） · 更多商品
7	Ornith-1.0-35B	35.0B MoE 激活 3.0B	20.85	RX 7900 XTX 24GB ≈203.6 tok/s 估算	RTX 5090 32GB ≈380.1 tok/s 估算	ASRock Radeon RX 7900 XTX Phantom Gaming 24GB OC （返利链接） · 更多商品
8	Qwen3.6-35B-A3B	36.0B MoE 激活 3.0B	21.4	RX 7900 XTX 24GB ≈203.6 tok/s 估算	RTX 5090 32GB ≈380.1 tok/s 估算	ASRock Radeon RX 7900 XTX Phantom Gaming 24GB OC （返利链接） · 更多商品
9	Qwen3-Coder-Next	79.7B MoE 激活 3B	45.44	Mac mini M4 Pro 64GB ≈57.9 tok/s 估算	RTX 6000 Ada 48GB ≈203.6 tok/s 估算	搜索 Amazon （返利链接）
10	Qwen3-Next-80B-A3B-Instruct	81.3B MoE 激活 3B	46.32	Mac mini M4 Pro 64GB ≈57.9 tok/s 估算	Mac Studio M3 Ultra 96GB ≈173.7 tok/s 估算	搜索 Amazon （返利链接）
11	Llama-4-Scout-17B-16E-Instruct	109.0B MoE 激活 17.0B	64.35	Mac Studio M3 Ultra 96GB ≈30.7 tok/s 估算	Mac Studio M3 Ultra 96GB ≈30.7 tok/s 估算	搜索 Amazon （返利链接）
12	GLM-4.5-Air	110.5B MoE 激活 12B	64.18	Mac Studio M3 Ultra 96GB ≈43.4 tok/s 估算	Mac Studio M3 Ultra 96GB ≈43.4 tok/s 估算	搜索 Amazon （返利链接）
13	Mistral-Small-4-119B-2603	119.0B MoE 激活 6.5B	67.75	Mac Studio M3 Ultra 96GB ≈80.2 tok/s 估算	Mac Studio M3 Ultra 96GB ≈80.2 tok/s 估算	搜索 Amazon （返利链接）
14	NVIDIA-Nemotron-3-Super-120B-A12B-BF16	120.0B MoE 激活 12.0B	69.4	Mac Studio M3 Ultra 96GB ≈43.4 tok/s 估算	Mac Studio M3 Ultra 96GB ≈43.4 tok/s 估算	搜索 Amazon （返利链接）
15	gpt-oss-120b	120.4B MoE 激活 5.1B	68.24	Mac Studio M3 Ultra 96GB ≈102.2 tok/s 估算	Mac Studio M3 Ultra 96GB ≈102.2 tok/s 估算	搜索 Amazon （返利链接）
16	Qwen3.5-122B-A10B	122.0B MoE 激活 10.0B	70.1	Mac Studio M3 Ultra 96GB ≈52.1 tok/s 估算	Mac Studio M3 Ultra 96GB ≈52.1 tok/s 估算	搜索 Amazon （返利链接）
17	DeepSeek-V4-Flash	158.1B MoE 激活 13B	90.55	Mac Studio M3 Ultra 96GB ≈40.1 tok/s 估算	Mac Studio M3 Ultra 96GB ≈40.1 tok/s 估算	搜索 Amazon （返利链接）
18	Step-3.5-Flash	196.8B MoE 激活 11.0B	111.44	MacBook Pro M3 Max 128GB ≈23.1 tok/s 估算	Mac Studio M2 Ultra 192GB ≈46.3 tok/s 估算	搜索 Amazon （返利链接）
19	MiniMax-M2.7	228.7B MoE 激活 10B	128.79	Mac Studio M2 Ultra 192GB ≈50.9 tok/s 估算	Mac Studio M2 Ultra 192GB ≈50.9 tok/s 估算	搜索 Amazon （返利链接）
20	Qwen3-235B-A22B-Instruct-2507	235.1B MoE 激活 22B	134.71	Mac Studio M2 Ultra 192GB ≈23.1 tok/s 估算	Mac Studio M2 Ultra 192GB ≈23.1 tok/s 估算	搜索 Amazon （返利链接）
21	Hy3	295.0B MoE 激活 21.0B	167.45	Mac Studio M2 Ultra 192GB ≈24.2 tok/s 估算	Mac Studio M2 Ultra 192GB ≈24.2 tok/s 估算	搜索 Amazon （返利链接）
22	MiMo-V2.5	310.0B MoE 激活 15.0B	174.5	Mac Studio M2 Ultra 192GB ≈33.9 tok/s 估算	Mac Studio M2 Ultra 192GB ≈33.9 tok/s 估算	搜索 Amazon （返利链接）

估算 = 基于带宽的估算；实测 = 收录的真实基准，覆盖估算值。GPU 名称链接到完整装机核对（4K/8K/32K 装机表 + VRAM 明细）。MSRP 为发布标价，非实时售价——Amazon 价格会变，点购买链接看当前价。标注「无零售 GPU 可装下」的模型所需 VRAM 超过目录内所有零售卡（最大 192 GB）——数据中心级选择见模型页。

对比入选 GPU

Mac Studio M2 Ultra 192GB vs Mac Studio M3 Ultra 96GB · Mac Studio M3 Ultra 96GB vs RTX 5090 32GB · Mac Studio M3 Ultra 96GB vs RX 7900 XT 20GB · Mac Studio M2 Ultra 192GB vs RTX 5090 32GB · Mac Studio M2 Ultra 192GB vs RX 7900 XT 20GB · RTX 5090 32GB vs RX 7900 XT 20GB

可在本地运行的 MoE 模型最佳 GPU

热门装机核对

对比入选 GPU