Apple · 8 GB LPDDR5X · 带宽 60 GB/s · Tencent · 295.0B(激活 21.0B) · MoE · 模型上下文最长 256K
❌ 装不下 — Hy3 Q4 需 167.45 GB,显卡仅 8 GB
估算基于带宽公式;标注「实测」的行覆盖估算。
方法论。
各量化与上下文下的装机与速度
| 量化 | 上下文 | 所需 VRAM | 装得下? | tok/s(解码) |
| Q4 | 4K | 167.45 GB | 否 | — |
| Q4 | 8K 默认 | 168.7 GB | 否 | — |
| Q4 | 32K | 176.2 GB | 否 | — |
| FP16 | 4K | 592.25 GB | 否 | — |
| FP16 | 8K 默认 | 593.5 GB | 否 | — |
| FP16 | 32K | 601.0 GB | 否 | — |
装得下 = 权重 + KV(上下文) + 0.5 GB 开销 ≤ 95% VRAM。实测锚点与上下文无关;装机结论按上下文分别计算。tok/s 缺失表示模型远超此卡能力(只能纯 offload)。
8K 上下文 VRAM 明细
| 量化 | 权重 | KV cache | 开销 | 合计所需 | MacBook Neo A18 Pro 8GB VRAM |
| Q4 | 165.2 GB | 2.5 GB | 0.5 GB | 168.7 GB | 8 GB |
| FP16 | 590.0 GB | 2.5 GB | 0.5 GB | 593.5 GB | 8 GB |
其他能跑 Hy3 的 GPU
Hy3 的全部 GPU →
MacBook Neo A18 Pro 8GB 可跑的其他模型
MacBook Neo A18 Pro 8GB 上的全部模型 →