Inkling

Inkling 是 Thinking Machines 的单模型家族，2026 年发布，975B 参数稀疏 MoE，采用宽松的 Apache-2.0 许可。它只有一个成员，一个目的：站在开源权重语言模型能抵达的极限边缘。975B 总参数、每 token 41B 激活、1M 上下文窗口——它是本站第二大的模型，仅次于万亿参数的 Kimi K2，但许可更宽松。

诚实的前置结论：这是纯数据中心模型。没有任何单张消费卡、工作站卡、甚至统一内存工作站 GPU 能在任何我们跟踪的量化等级下装下 Inkling。本文告诉你到底需要多少 VRAM，让你判断自己的集群是否跨得过门槛。

尺寸梯度

• Inkling（975B MoE，41B 激活，1024K ctx，Apache-2.0）— Q4 权重约 536.3 GB。加上 8K 上下文的 KV cache 约 537.3 GB 总量 → 你需要大约 6×96GB GPU（或同等数据中心卡）才能至少装下 8K 上下文的 Q4 量化。查看完整 VRAM 矩阵

Inkling 特别在哪

Inkling 在此作为参照而非购买推荐——但规格值得理解：

• 41B 激活，975B 总量。 MoE 比例约 24:1，意味着每 token 计算成本遵循 41B，而模型存储近万亿参数。这是个有意义的效率增益——前提是你先把模型装进了某个地方。
• 1M 上下文窗口。 与本站最长者并列。在完整的 1M 上下文下，光 KV cache 大约就要 1025 GB——相当于把 8K 基线的 VRAM 翻倍还不止。Q4 跑满 1M 窗口意味着总计超过 1.5 TB 的总 VRAM。
• Apache-2.0 许可。 这真是它跟别的巨物拉开距离的地方：近万亿参数模型，配最宽松的开源许可之一。商用、微调、再分发——法律上全在桌面上。瓶颈纯属硬件。

什么硬件能跑 Inkling

没有我们跟踪的任何单卡能装下 Inkling——连 192GB 统一内存芯片也不行。现实的档位：

• Q2 量化（约 274 GB 权重）： 3×96GB 卡，或一对 H200（141GB）加 offload。能跑，但要接受激进量化的质量损失。
• Q4 量化，8K 上下文（约 537 GB）： 6×96GB 级卡，或 4× H200。这是 8K 下全质量 Q4 的最低配置。
• Q4 量化，完整 1M 上下文（约 1.56 TB）： 16×96GB 级卡。长上下文 KV cache 是主因；到了这一档你已经在 HPC 集群的领地了。

对绝大多数构建者，实际结论是：Inkling 存在、它是 MIT 风格的宽松许可、它标记了前沿在哪。如果你的集群能舒服地跑它，你不需要别人告诉你。其他人用 70B–200B 区间的模型好得多，一两张消费卡就能搞定——从我们的 12GB、16GB 或 24GB 最佳模型列表开始。

相关链接

• Inkling 在 Hugging Face
• Inkling — 完整 VRAM 矩阵
• 70B+ 模型最佳显卡
• 指南：本地 LLM 到底需要多少 VRAM？
• 指南：在消费级 GPU 上跑大模型