Mistral

Mistral AI 是那家把"小而强"做成招牌的法国实验室。它的开源权重目录如今横跨极大跨度：一头是经典的 Mistral 7B——至今仍是社区微调次数最多的模型之一；另一头是 119B 的 Mistral Small 4 和 128B 的 Mistral Medium 3.5 两款旗舰，都支持 256K 上下文。中间还有 Devstral 2，一个 24B、专为编程 agent 场景打造的模型。

对本地推理来说，这个家族很好做规划：全系都有 GGUF，大部分型号是 Apache-2.0 许可，两款大模型恰好分成两种路线——一个"大总参数、小激活"的 MoE，一个实打实吃 VRAM 的稠密重量级。下面按本站标准公式估算每款在 Q4、8K 上下文下的需求：Q4 VRAM ≈ q4_gb + 0.025 × active_b × 8 + 1 GB 开销。

尺寸梯度

• Mistral-7B-Instruct-v0.3（7.2B 稠密）— Q4 权重约 4.0 GB，8K 下合计约 6.5 GB → 任意 12GB 显卡都宽裕。老将一枚：32K 上下文、Apache 2.0，社区多年积累的微调与工具链都在它身上。轻量聊天、日常杂活、低功耗机器，它仍是稳妥的默认选项。
• Devstral-Small-2-24B-Instruct-2512（24B 稠密）— Q4 权重约 13.2 GB，8K 下合计约 19 GB → 需要 24GB 显卡（RTX 3090/4090 级别）。Mistral 面向编程的型号，256K 上下文，专为 agentic 编程循环设计——长文件加工具调用记录很吃上下文，这正是它的主场。Apache-2.0。
• Mistral-Small-4-119B-2603（119B MoE，激活 6.5B，128 专家 / 每 token 选 4）— Q4 权重约 65.5 GB，8K 下合计约 68 GB → 可上 96GB 配置（双 48GB 或工作站卡）。别被"Small"骗了：它存了 119B 参数，但每个 token 只激活 6.5B，速度手感接近 7B 级模型，质量却远高于 7B。Apache-2.0，256K 上下文。
• Mistral-Medium-3.5-128B（128B 稠密）— Q4 权重约 70.4 GB，8K 下合计约 97 GB → 略超单张 96GB 卡；建议按 192GB+（多卡）规划，或者接受较重的 offload。稠密旗舰：每个 token 都要过全部 128B 参数，速度远慢于 Small 4，但想要在 256K 上下文下获得稠密模型行为的用户会选它。注意许可为 Modified MIT，商用部署前请先看条款。

家族亮点

MoE 用在了刀刃上。 Mistral Small 4 是自托管玩家的焦点：MoE 的推理成本由激活的 6.5B 参数决定，而不是 119B 总量，所以 tok/s 落在单卡友好的区间——你付出的代价在 VRAM，不在速度。KV cache 也按激活参数计算，同等总参数下，长上下文的开销比稠密模型温和得多。

2026 年型号全系 256K 上下文。 Devstral 2、Small 4、Medium 3.5 均为 256K。提醒一句：上面按 8K 估算只是选购基线；上下文大幅拉长后 KV cache 线性增长，在稠密的 Medium 3.5 上可能多出几十 GB。长文档是刚需的话，记得留足余量。

许可总体宽松，但有一个例外。 7B v0.3、Devstral 2、Small 4 都是 Apache-2.0，基本随意使用。Medium 3.5 是 Modified MIT，基于它做产品前先读一遍条款。

怎么选

• 12GB VRAM（如 RTX 3060 12GB）：Mistral-7B-Instruct-v0.3，跑满 32K 上下文也绰绰有余。
• 16GB VRAM：Q4 舒服区仍属于 7B——Devstral 2 的 Q4 约 19 GB，刚好够不着，除非降到 Q2 或 offload 部分层。
• 24GB VRAM（RTX 3090/4090）：选 Devstral-Small-2-24B，写代码的话尤其合适。这是能在单张消费卡上纯 GPU 跑起来的最大 Mistral。
• 48GB VRAM（双 24GB 或一张 A6000）：过渡档——Devstral 2 可以上更高量化、更长上下文，但 100B+ 的两款仍装不下。
• 96GB VRAM：Mistral-Small-4-119B 的 Q4 落地实用，MoE 带来的速度让它成为全家族的甜点。
• 192GB+ VRAM：Mistral-Medium-3.5-128B 的 Q4（约 97 GB）装得下，还留有充足的上下文余量。

如果 2026 年只打算为 Mistral 入一个显存档位，96GB 是性价比之王——它解锁了 Small 4，也正是 Mistral 的 MoE 工程在家庭场景里回报最高的那款模型。

相关链接

• Mistral-7B-Instruct-v0.3 详情页
• Devstral-Small-2-24B 详情页
• Mistral-Small-4-119B 详情页
• Mistral-Medium-3.5-128B 详情页
• Mistral AI 的 Hugging Face 主页
• 显卡选购指南