Gemma

Gemma 是谷歌旗舰模型的开源权重姊妹线，目前的 Gemma 4 一代正好卡在消费级甜区：五款指令微调模型，参数从 5.1B 到 30.7B，全部采用宽松的 Apache-2.0 许可。这一点很关键——你可以自由微调、再分发、商用，不像某些竞争家族那样附带使用限制。

对本地玩家来说，这个家族有两个特质。一是上下文给得大方：两款小模型 128K，其余 256K，单卡跑长文档 RAG 和 agent 长链路完全可行。二是阵容里有一款 MoE 变体 26B-A4B，目前也是 Hugging Face 上下载量最高的 Gemma 4 模型——它每个 token 只激活 3.8B 参数，速度远快于同量级稠密模型，质量却看齐大块头。

下文 VRAM 数字统一按本站公式估算：Q4 权重 + 8K 上下文的 KV cache + 1 GB 开销。上下文每拉长 1K，大约每 10 亿激活参数多吃 0.025 GB——稠密的 31B 涨得快，MoE 几乎不涨。

尺寸梯度

• Gemma 4 E2B（5.1B 稠密，128K 上下文）— Q4 权重仅 2.81 GB，8K 下整体约 4.8 GB → 任意 12 GB 显卡都游刃有余，8 GB 游戏卡跑 Q4 也没问题；FP16 权重（约 10.2 GB）同样塞得进 12 GB。日常聊天、摘要、轻量任务的顺手之选。模型页
• Gemma 4 E4B（8B 稠密，128K 上下文）— Q4 整体约 7.0 GB → 经典 12 GB 显卡（RTX 3060 12GB、4070 级别）就是它的家。FP16 权重就要 16 GB 往上再加 KV，12–16 GB 卡建议老老实实用 Q4/Q8。相比 E2B 质量明显提升，VRAM 代价却不大。模型页
• Gemma 4 12B（11.95B 稠密，256K 上下文）— Q4 约 10.0 GB → 12 GB 卡能装下但留给长上下文的空间很紧；16 GB 才是舒服的选择，256K 窗口才真正用得起来。模型页
• Gemma 4 26B-A4B（25.2B MoE，每 token 仅激活 3.8B，128 专家选 8，256K 上下文）— Q4 约 15.6 GB → 16 GB 卡在 8K 下勉强及格，现实选择是 24 GB（RTX 3090/4090）。回报很值：激活量只有 3.8B，生成速度像 4B 小模型，质量却贴着 31B 走。它的 KV cache 也极小，哪怕拉满 256K 上下文增量也不到 25 GB。模型页
• Gemma 4 31B（30.7B 稠密，256K 上下文）— Q4 约 24.0 GB → 24 GB 卡在 8K 下正好压线，想要像样的上下文长度请上 48 GB（A6000 级别或双卡）。FP16（权重约 61 GB）则是 96 GB+ 平台的事。全族质量天花板。模型页

家族亮点

• 全系 Apache-2.0——没有点击即同意的附加条款，没有商用限制，GGUF 量化版也可以自由再分发。
• 长上下文是标配——起步 128K，12B 及以上 256K。注意 KV cache 随*激活*参数增长，所以 MoE 款的长上下文远比稠密 31B 省 VRAM。
• 真正的 MoE 选项——26B-A4B 每 token 从 128 个专家中路由 8 个。对本地推理来说，这是全族速度/质量比最甜的一点，消费级显卡上也能跑出高 tok/s。
• 为单卡而生——全系任何一款 Q4 都能装进一张消费级或工作站显卡；除非你在顶配坚持 FP16，否则不需要多卡方案。

怎么选

• 12 GB 显存——E2B 或 E4B 跑 Q4。E2B 给上下文和桌面环境留的余地最大；更看重质量就选 E4B。
• 16 GB 显存——12B 跑 Q4 是甜区，还能留出有意义的上下文空间。26B-A4B 在 8K 下技术上塞得进，但毫无余量——16 GB 请把它当作 MoE 配 Q2 的方案，而不是 Q4。
• 24 GB 显存——26B-A4B 跑 Q4 是全场最佳：接近 31B 的质量、约 4B 级别的速度、长上下文还便宜。稠密 31B 在 24 GB 上只能 8K 压线，没有余量。
• 48 GB 显存——31B 跑 Q4 并真正用上 256K 窗口；或者 26B-A4B 上 Q8/FP8，兼顾高速度与顶格质量。
• 96 GB+ 显存——FP16 的 31B，或者并排跑多个 Gemma 实例做 agent 负载。

拿不准的话，24 GB 显卡配 26B-A4B 起步——它能成为社区热门不是没道理的。

相关链接

• Gemma 家族页 — 实时 VRAM 与速度估算
• Gemma 模型最佳显卡
• 指南：本地 LLM 需要多少 VRAM？
• 指南：LLM 量化详解
• 指南：2026 年本地 LLM 最佳显卡