V100 16GB PCIe — 本地 LLM 装机匹配与速度

NVIDIA · 16 GB HBM2 · 900 GB/s · 250 W · MSRP $8,000

CUDA

V100 16GB PCIe 是 NVIDIA 的加速器，配备 16 GB HBM2，峰值显存带宽约 900 GB/s。 AI Hashrate 按 8K 上下文估算本地 LLM 解码速度（batch 1）：能否装下 = 权重 + KV cache + 1 GB 运行时开销，而非只看权重。 Q4 下约有 24 个收录模型能完整装进此卡；FP16 下约 8 个。 Q4 速度前列：MiniCPM5-1B ≈ 530.3 tok/s（估算，装得下）; Qwen3.5-2B ≈ 286.4 tok/s（估算，装得下）; DeepSeek-R1-0528-Qwen3-8B-layer-mix-bpw-3.8-mlx ≈ 249.0 tok/s（估算，装得下）; Llama-3.2-3B-Instruct ≈ 179.0 tok/s（估算，装得下）; gpt-oss-20b ≈ 159.1 tok/s（估算，装得下）。相对排名比绝对 tok/s 更可靠。带宽公式与实测锚点政策见方法论页。方法论.

表格：解码速度估算（Q4 / FP16）。实测行覆盖估算值。MSRP 为官方标价，非实时售价。默认上下文 8K。

模型	参数 (B)	量化	tok/s	装得下？
MiniCPM5-1B	1.08	Q4	530.3 估算	是
Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16	30.0	Q4	453.0 估算	否
Qwen3-30B-A3B-Instruct-2507	30.5	Q4	412.0 估算	否
GLM-4.7-Flash	31.2	Q4	395.5 估算	否
Qwen3.5-35B-A3B	34.7	Q4	342.5 估算	否
qwen35b-a3b-fable-sft-abliterated	34.7	Q4	325.2 估算	否
Ornith-1.0-35B	35.0	Q4	320.2 估算	否
Qwen3.6-35B-A3B	36.0	Q4	319.3 估算	否
Qwen3.5-2B	2.0	Q4	286.4 估算	是
DeepSeek-R1-0528-Qwen3-8B-layer-mix-bpw-3.8-mlx	2.3	Q4	249.0 估算	是
Llama-3.2-3B-Instruct	3.2	Q4	179.0 估算	是
gpt-oss-20b	21.5	Q4	159.1 估算	是
gemma-4-26B-A4B-it	25.2	Q4	150.7 估算	是
MiniCPM5-1B	1.08	FP16	145.8 估算	是
Qwen3-4B-Instruct-2507	4.0	Q4	143.2 估算	是
NVIDIA-Nemotron-3-Nano-4B-BF16	4.0	Q4	143.2 估算	是
Qwen3-4B-Thinking-2507	4.0	Q4	143.2 估算	是
gemma-4-E2B-it	5.1	Q4	112.3 估算	是
Mistral-7B-Instruct-v0.3	7.2	Q4	79.5 估算	是
Qwen3.5-2B	2.0	FP16	78.8 估算	是
Qwen2.5-7B-Instruct	7.6	Q4	75.4 估算	是
Llama-3.1-8B-Instruct	8.0	Q4	71.6 估算	是
gemma-4-E4B-it	8.0	Q4	71.6 估算	是
Qwen3-8B	8.2	Q4	69.8 估算	是
DeepSeek-R1-0528-Qwen3-8B	8.2	Q4	69.8 估算	是
Qwen3-Coder-Next	79.7	Q4	69.0 估算	否
DeepSeek-R1-0528-Qwen3-8B-layer-mix-bpw-3.8-mlx	2.3	FP16	68.5 估算	是
Qwen3-Next-80B-A3B-Instruct	81.3	Q4	66.4 估算	否
Qwen3.6-35B-A3B-NVFP4	21.6	Q4	65.4 估算	否
Qwen3.5-9B	8.95	Q4	64.0 估算	是
Ornith-1.0-9B	9.0	Q4	63.6 估算	是
Qwen3.5-27B	27.0	Q4	56.6 估算	否
Mistral-7B-Instruct-v0.3	7.2	FP16	56.2 估算	否
Qwen3.6-27B	27.8	Q4	52.1 估算	否
Llama-3.2-3B-Instruct	3.2	FP16	49.2 估算	是
Devstral-Small-2-24B-Instruct-2512	24.0	Q4	48.2 估算	否
Qwen2.5-7B-Instruct	7.6	FP16	48.1 估算	否
gemma-4-12b-it	11.95	Q4	47.9 估算	是
OLMo-2-1124-13B-Instruct	13.7	Q4	41.8 估算	是
Llama-3.1-8B-Instruct	8.0	FP16	41.5 估算	否
gemma-4-E4B-it	8.0	FP16	41.5 估算	否
Qwen3-4B-Instruct-2507	4.0	FP16	39.4 估算	是
NVIDIA-Nemotron-3-Nano-4B-BF16	4.0	FP16	39.4 估算	是
Qwen3-4B-Thinking-2507	4.0	FP16	39.4 估算	是
Qwen3-14B	14.8	Q4	38.7 估算	是
Qwen2.5-14B-Instruct	14.8	Q4	38.7 估算	是
DeepSeek-R1-Distill-Qwen-14B	14.8	Q4	38.7 估算	是
Qwen3-8B	8.2	FP16	38.6 估算	否
DeepSeek-R1-0528-Qwen3-8B	8.2	FP16	38.6 估算	否
gemma-4-26B-A4B-it-AWQ-4bit	26.6	Q4	35.8 估算	否
Qwen3.5-9B	8.95	FP16	35.1 估算	否
gemma-3-27b-it	27.4	Q4	32.8 估算	否
gemma-4-E2B-it	5.1	FP16	30.9 估算	是
Ornith-1.0-9B	9.0	FP16	29.5 估算	否
Qwen3.5-122B-A10B-Heretic-v2-MLX-mixed-3.8bit	19.8	Q4	28.9 估算	是
gemma-4-31B-it	30.7	Q4	23.6 估算	否
gemma-4-31B-it-FP8-block	31.3	Q4	22.3 估算	否
Qwen2.5-32B-Instruct	32.8	Q4	19.4 估算	否
Qwen2.5-Coder-32B-Instruct	32.8	Q4	19.4 估算	否
DeepSeek-R1-Distill-Qwen-32B	32.8	Q4	19.4 估算	否
gpt-oss-20b	21.5	FP16	16.0 估算	否
Qwen3.6-35B-A3B-FP8	36.0	Q4	14.8 估算	否
gemma-4-12b-it	11.95	FP16	12.9 估算	否
gemma-4-26B-A4B-it	25.2	FP16	11.1 估算	否
Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16	30.0	FP16	10.3 估算	否
Qwen3-30B-A3B-Instruct-2507	30.5	FP16	9.8 估算	否
GLM-4.7-Flash	31.2	FP16	9.3 估算	否
OLMo-2-1124-13B-Instruct	13.7	FP16	8.6 估算	否
Qwen3-14B	14.8	FP16	6.9 估算	否
Qwen2.5-14B-Instruct	14.8	FP16	6.9 估算	否
DeepSeek-R1-Distill-Qwen-14B	14.8	FP16	6.9 估算	否
Qwen3.5-122B-A10B-Heretic-v2-MLX-mixed-3.8bit	19.8	FP16	2.9 估算	否
Qwen3.6-35B-A3B-NVFP4	21.6	FP16	2.3 估算	否
Llama-3.1-70B-Instruct	70.6	Q4	2.1 估算	否
Llama-3.3-70B-Instruct	70.6	Q4	2.1 估算	否
Qwen2.5-72B-Instruct	72.7	Q4	1.9 估算	否
Devstral-Small-2-24B-Instruct-2512	24.0	FP16	1.7 估算	否
Qwen3.5-27B	27.0	FP16	1.4 估算	否
Qwen3.6-27B	27.8	FP16	1.3 估算	否
gemma-4-26B-A4B-it-AWQ-4bit	26.6	FP16	1.2 估算	否
gemma-3-27b-it	27.4	FP16	1.1 估算	否

装机核对

Qwen3-8B — 装得下 · ≈69.8 tok/s Q4 估算
gemma-4-26B-A4B-it — 装得下 · ≈150.7 tok/s Q4 估算
Qwen2.5-7B-Instruct — 装得下 · ≈75.4 tok/s Q4 估算
Qwen3.5-9B — 装得下 · ≈64.0 tok/s Q4 估算
Qwen3.6-35B-A3B-NVFP4 — 装不下 · ≈65.4 tok/s Q4 估算
Llama-3.1-8B-Instruct — 装得下 · ≈71.6 tok/s Q4 估算
Qwen3.6-35B-A3B-FP8 — 装不下 · ≈14.8 tok/s Q4 估算
gpt-oss-20b — 装得下 · ≈159.1 tok/s Q4 估算
Qwen3.6-35B-A3B — 装不下 · ≈319.3 tok/s Q4 估算
Qwen3.5-35B-A3B — 装不下 · ≈342.5 tok/s Q4 估算
gemma-4-E2B-it — 装得下 · ≈112.3 tok/s Q4 估算

全部 73 个模型的装机核对——见上表「装得下？」列的链接