Step 是 阶跃星辰 的模型家族,这家中国 AI 实验室因大体积开源权重发布而成为社区热门。本站目前收录一位主角:Step-3.5-Flash,2026 年发布的稀疏 MoE 模型,采用宽松的 Apache-2.0 许可。
诚实的前置结论:这不是单卡爱好者的模型。196.8B 总参数,即便是 Q4 量化也需要数据中心级或精心拼装的多卡硬件。好消息是 MoE 设计——每 token 只激活约 11B 参数——所以一旦装进 VRAM,生成速度更接近 13B 级稠密模型,而非 200B 怪兽。
尺寸梯度
- Step-3.5-Flash(196.8B 总量,MoE,11B 激活;288 专家,每 token 路由 8 个)— Q4 在默认 8K 上下文 ≈ 111 GB VRAM → 超出所有 96GB 级卡;你需要 192GB 级方案,如单张 MI300X 192GB、B200、Mac Studio M2 Ultra 192GB,或多卡机子。FP16 光权重就约 394 GB。查看显卡适配与速度估算
Step 家族特别在哪
- 稀疏 MoE 效率。 288 专家,每 token 8 个激活,质量在 200B 梯队,同时 per-token 计算量保持在约 11B 梯队。这个比例就是 "Flash" 在推理时名副其实的原因。
- 256K 上下文。 开源权重世界里最长的上下文窗口之一。记住 KV cache 随上下文增长:满 256K 下光 KV 就要在约 111 GB 的 8K 基线外再加约 70 GB。长文档负载请预算 192GB 或更多。
- Apache-2.0 许可。 免费商用、微调和再分发——对比受限的大模型许可,这是实打实的差距。
- GGUF 友好。 社区 GGUF 量化广泛流传,llama.cpp 式本地推理配合 CPU offload 是可行的,前提是你接受较低的 tok/s。
怎么选
既然目前家族就是一款模型,真正的问题是你的硬件档位能不能装下:
- 12GB / 16GB / 24GB 卡 — 不在讨论范围内。196.8B 模型哪怕最小量化也装不下。从我们的精选列表中选更小的模型。
- 48GB(RTX 6000 Ada / A6000) — 还是不行:连 Q2 量化都要约 58 GB。两张 48GB 卡(96 GB 池化)能放下 Q2 配 8K 上下文。
- 96GB 级(Mac Studio M3 Ultra 96GB) — Q2 能装(约 58 GB);Q4(约 111 GB)装不下。Q2 测试可用,但难题上质量损失可见。
- 128–141GB 级(MacBook M4 Max 128GB、H200 141GB) — Q4 在 8K 上下文有余量能装,但 256K 上下文不行。单机 Q4 推理在中等上下文下的甜点。
- 192GB+(MI300X、B200、Mac Studio M2 Ultra 192GB、2×96GB) — 舒适答案。Q4 在 8K 下能装,还给长上下文 KV 留了空间;这是我们推荐的严肃本地或自托管使用档位。
- FP16 纯精度党 — 光权重就约 394 GB,你要找的是多 GPU 服务器节点,不是工作站。
相关链接
Step(阶跃星辰) 族共 1 个模型,按系列分组。Q4 (GB) 仅为权重体积;总 VRAM 还需加 KV cache 与开销——装机核对链接按代表性零售 GPU、8K 上下文计算。