← AI Hashrate EN

V100 32GB SXM2 能跑 Llama-3.3-70B-Instruct 吗？

NVIDIA · 32 GB HBM2 · 带宽 900 GB/s · Meta · 70.6B · 模型上下文最长 128K

❌ 装不下 — Llama-3.3-70B-Instruct Q4 需 46.83 GB，显卡仅 32 GB
VRAM：需 46.83 GB / 32 GB
速度：~8.2 tok/s（估算）
FF · 装不下综合评分：VRAM 余量 × 0.5 + 生成速度 × 0.5。Q4 @ 8K 上下文。
CUDA
你的 GPU 装不下 Llama-3.3-70B-Instruct，但能跑这些同类型模型： Qwen3-8B, gemma-4-26B-A4B-it或☁️ RunPod 云端租用 ~$0.50/小时
估算基于带宽公式；标注「实测」的行覆盖估算。方法论。

各量化与上下文下的装机与速度

量化上下文所需 VRAM装得下？tok/s（解码）
Q44K46.83 GB否10.9 ± 估算
Q48K 默认53.83 GB否8.2 ± 估算
Q432K95.83 GB否2.6 ± 估算
FP164K149.2 GB否—
FP168K 默认156.2 GB否—
FP1632K198.2 GB否—

装得下 = 权重 + KV(上下文) + 1 GB 开销 ≤ 95% VRAM。实测锚点与上下文无关；装机结论按上下文分别计算。tok/s 缺失表示模型远超此卡能力（只能纯 offload）。

8K 上下文 VRAM 明细

量化权重KV cache开销合计所需V100 32GB SXM2 VRAM
Q438.83 GB14.0 GB1 GB53.83 GB32 GB
FP16141.2 GB14.0 GB1 GB156.2 GB32 GB

其他能跑 Llama-3.3-70B-Instruct 的 GPU

Llama-3.3-70B-Instruct 的全部 GPU →

V100 32GB SXM2 可跑的其他模型

V100 32GB SXM2 上的全部模型 →