B200 192GB SXM — 本地 LLM 装机匹配与速度

NVIDIA · 192 GB HBM3e · 8000 GB/s · 1000 W · MSRP $40,000

B200 192GB SXM 是 NVIDIA 的加速器，配备 192 GB HBM3e，峰值显存带宽约 8000 GB/s。 AI Hashrate 按 8K 上下文估算本地 LLM 解码速度（batch 1）：能否装下 = 权重 + KV cache + 1 GB 运行时开销，而非只看权重。 Q4 下约有 52 个收录模型能完整装进此卡；FP16 下约 39 个。 Q4 速度前列：MiniCPM5-1B ≈ 4713.8 tok/s（估算，装得下）; Qwen3.5-2B ≈ 2545.5 tok/s（估算，装得下）; GLM-4.7-Flash ≈ 1697.0 tok/s（估算，装得下）; Qwen3-30B-A3B-Instruct-2507 ≈ 1697.0 tok/s（估算，装得下）; Qwen3-Next-80B-A3B-Instruct ≈ 1697.0 tok/s（估算，装得下）。相对排名比绝对 tok/s 更可靠。带宽公式与实测锚点政策见方法论页。方法论.

表格：解码速度估算（Q4 / FP16）。实测行覆盖估算值。MSRP 为官方标价，非实时售价。默认上下文 8K。

模型	参数 (B)	量化	tok/s	装得下？
MiniCPM5-1B	1.08	Q4	4713.8 估算	是
Qwen3.5-2B	2.0	Q4	2545.5 估算	是
GLM-4.7-Flash	31.2	Q4	1697.0 估算	是
Qwen3-30B-A3B-Instruct-2507	30.5	Q4	1697.0 估算	是
Qwen3-Next-80B-A3B-Instruct	81.3	Q4	1697.0 估算	是
Qwen3-Coder-Next	79.7	Q4	1697.0 估算	是
Qwen3.5-35B-A3B	34.7	Q4	1697.0 估算	是
Qwen3.6-35B-A3B	36.0	Q4	1697.0 估算	是
Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16	30.0	Q4	1697.0 估算	是
Ornith-1.0-35B	35.0	Q4	1697.0 估算	是
Llama-3.2-3B-Instruct	3.2	Q4	1590.9 估算	是
gpt-oss-20b	21.5	Q4	1414.1 估算	是
gemma-4-26B-A4B-it	25.2	Q4	1339.7 估算	是
MiniCPM5-1B	1.08	FP16	1296.3 估算	是
Qwen3-4B-Instruct-2507	4.0	Q4	1272.7 估算	是
Qwen3-4B-Thinking-2507	4.0	Q4	1272.7 估算	是
NVIDIA-Nemotron-3-Nano-4B-BF16	4.0	Q4	1272.7 估算	是
gpt-oss-120b	120.4	Q4	998.2 估算	是
gemma-4-E2B-it	5.1	Q4	998.2 估算	是
Mistral-Small-4-119B-2603	119.0	Q4	783.2 估算	是
Mistral-7B-Instruct-v0.3	7.2	Q4	707.1 估算	是
Qwen3.5-2B	2.0	FP16	700.0 估算	是
Qwen2.5-7B-Instruct	7.6	Q4	669.9 估算	是
Llama-3.1-8B-Instruct	8.0	Q4	636.4 估算	是
gemma-4-E4B-it	8.0	Q4	636.4 估算	是
Qwen3.5-397B-A17B	397.0	Q4	635.7 估算	否
Qwen3-8B	8.2	Q4	620.8 估算	是
DeepSeek-R1-0528-Qwen3-8B	8.2	Q4	620.8 估算	是
Qwen3.5-9B	8.95	Q4	568.8 估算	是
Ornith-1.0-9B	9.0	Q4	565.7 估算	是
Llama-3.1-70B-Instruct	70.6	Q4	520.0 实测 (nvidia-gtc)	是
MiniMax-M2.7	228.7	Q4	509.1 估算	是
Qwen3.5-122B-A10B	122.0	Q4	509.1 估算	是
gpt-oss-120b	120.4	FP16	490.4 估算	否
GLM-4.7-Flash	31.2	FP16	466.7 估算	是
Qwen3-30B-A3B-Instruct-2507	30.5	FP16	466.7 估算	是
Qwen3-Next-80B-A3B-Instruct	81.3	FP16	466.7 估算	是
Qwen3-Coder-Next	79.7	FP16	466.7 估算	是
Qwen3.5-35B-A3B	34.7	FP16	466.7 估算	是
Qwen3.6-35B-A3B	36.0	FP16	466.7 估算	是
Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16	30.0	FP16	466.7 估算	是
Ornith-1.0-35B	35.0	FP16	466.7 估算	是
Step-3.5-Flash	196.8	Q4	462.8 估算	是
Llama-3.2-3B-Instruct	3.2	FP16	437.5 估算	是
gemma-4-12b-it	11.95	Q4	426.0 估算	是
GLM-4.5-Air	110.5	Q4	424.2 估算	是
NVIDIA-Nemotron-3-Super-120B-A12B-BF16	120.0	Q4	424.2 估算	是
MiniMax-M3	428.0	Q4	401.4 估算	否
Mistral-Small-4-119B-2603	119.0	FP16	392.9 估算	否
DeepSeek-V4-Flash	158.1	Q4	391.6 估算	是
gpt-oss-20b	21.5	FP16	388.9 估算	是
gemma-4-26B-A4B-it	25.2	FP16	368.4 估算	是
Qwen3-4B-Instruct-2507	4.0	FP16	350.0 估算	是
Qwen3-4B-Thinking-2507	4.0	FP16	350.0 估算	是
NVIDIA-Nemotron-3-Nano-4B-BF16	4.0	FP16	350.0 估算	是
Qwen3-14B	14.8	Q4	344.0 估算	是
Qwen2.5-14B-Instruct	14.8	Q4	344.0 估算	是
DeepSeek-R1-Distill-Qwen-14B	14.8	Q4	344.0 估算	是
MiMo-V2.5	310.0	Q4	339.4 估算	是
Llama-4-Scout-17B-16E-Instruct	109.0	Q4	299.5 估算	是
gemma-4-E2B-it	5.1	FP16	274.5 估算	是
GLM-4.5-Air	110.5	FP16	244.0 估算	否
Hy3	295.0	Q4	242.4 估算	是
Qwen3.5-122B-A10B	122.0	FP16	241.7 估算	否
Qwen3-235B-A22B-Instruct-2507	235.1	Q4	231.4 估算	是
Devstral-Small-2-24B-Instruct-2512	24.0	Q4	212.1 估算	是
NVIDIA-Nemotron-3-Super-120B-A12B-BF16	120.0	FP16	207.4 估算	否
Qwen3-Coder-480B-A35B-Instruct	480.2	Q4	206.9 估算	否
Mistral-7B-Instruct-v0.3	7.2	FP16	194.4 估算	是
Qwen3.5-27B	27.0	Q4	188.6 估算	是
Qwen2.5-7B-Instruct	7.6	FP16	184.2 估算	是
Qwen3.6-27B	27.8	Q4	183.1 估算	是
Llama-4-Scout-17B-16E-Instruct	109.0	FP16	175.4 估算	否
Llama-3.1-8B-Instruct	8.0	FP16	175.0 估算	是
gemma-4-E4B-it	8.0	FP16	175.0 估算	是
Qwen3-8B	8.2	FP16	170.7 估算	是
DeepSeek-R1-0528-Qwen3-8B	8.2	FP16	170.7 估算	是
gemma-4-31B-it	30.7	Q4	165.8 估算	是
Qwen3.5-9B	8.95	FP16	156.4 估算	是
Ornith-1.0-9B	9.0	FP16	155.6 估算	是
Qwen2.5-32B-Instruct	32.8	Q4	155.2 估算	是
Qwen2.5-Coder-32B-Instruct	32.8	Q4	155.2 估算	是
DeepSeek-R1-Distill-Qwen-32B	32.8	Q4	155.2 估算	是
gemma-4-12b-it	11.95	FP16	117.2 估算	是
DeepSeek-V4-Flash	158.1	FP16	110.9 估算	否
NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4	550.0	Q4	98.6 估算	否
DeepSeek-R1	684.5	Q4	97.8 估算	否
Qwen3-14B	14.8	FP16	94.6 估算	是
Qwen2.5-14B-Instruct	14.8	FP16	94.6 估算	是
DeepSeek-R1-Distill-Qwen-14B	14.8	FP16	94.6 估算	是
Step-3.5-Flash	196.8	FP16	85.1 估算	否
GLM-5.2	753.3	Q4	74.8 估算	否
GLM-5.1	753.9	Q4	74.7 估算	否
Llama-3.3-70B-Instruct	70.6	Q4	72.7 估算	是
Qwen2.5-72B-Instruct	72.7	Q4	70.0 估算	是
MiniMax-M2.7	228.7	FP16	69.6 估算	否
Devstral-Small-2-24B-Instruct-2512	24.0	FP16	58.3 估算	是
Qwen3.5-27B	27.0	FP16	51.9 估算	是
Kimi-K2.6	1030.0	Q4	50.9 估算	否
Kimi-K2.7-Code	1030.0	Q4	50.9 估算	否
Qwen3.6-27B	27.8	FP16	50.4 估算	是
DeepSeek-V4-Pro	861.6	Q4	46.6 估算	否
gemma-4-31B-it	30.7	FP16	45.6 估算	是
Inkling	975.0	Q4	44.0 估算	否
Qwen2.5-32B-Instruct	32.8	FP16	42.7 估算	是
Qwen2.5-Coder-32B-Instruct	32.8	FP16	42.7 估算	是
DeepSeek-R1-Distill-Qwen-32B	32.8	FP16	42.7 估算	是
Mistral-Medium-3.5-128B	128.0	Q4	39.8 估算	是
Qwen3-235B-A22B-Instruct-2507	235.1	FP16	29.6 估算	否
MiMo-V2.5	310.0	FP16	25.2 估算	否
Llama-3.1-70B-Instruct	70.6	FP16	20.0 估算	是
Llama-3.3-70B-Instruct	70.6	FP16	20.0 估算	是
Hy3	295.0	FP16	19.8 估算	否
Qwen2.5-72B-Instruct	72.7	FP16	19.3 估算	是
Mistral-Medium-3.5-128B	128.0	FP16	14.4 估算	否

装机核对

Qwen3-8B — 装得下 · ≈620.8 tok/s Q4 估算
gemma-4-26B-A4B-it — 装得下 · ≈1339.7 tok/s Q4 估算
Qwen2.5-7B-Instruct — 装得下 · ≈669.9 tok/s Q4 估算
Qwen3.5-9B — 装得下 · ≈568.8 tok/s Q4 估算
DeepSeek-R1 — 装不下 · ≈97.8 tok/s Q4 估算
Llama-3.1-8B-Instruct — 装得下 · ≈636.4 tok/s Q4 估算
gpt-oss-20b — 装得下 · ≈1414.1 tok/s Q4 估算
Qwen3.6-35B-A3B — 装得下 · ≈1697.0 tok/s Q4 估算
Qwen3.5-35B-A3B — 装得下 · ≈1697.0 tok/s Q4 估算
gemma-4-E2B-it — 装得下 · ≈998.2 tok/s Q4 估算
Qwen3.6-27B — 装得下 · ≈183.1 tok/s Q4 估算
Mistral-7B-Instruct-v0.3 — 装得下 · ≈707.1 tok/s Q4 估算

全部 63 个模型的装机核对——见上表「装得下？」列的链接