DeepSeek-R1-0528-Qwen3-8B-layer-mix-bpw-3.8-mlx

GreenBitAI · 2.3B · ctx NoneK · apache-2.0 · HuggingFace

DeepSeek-R1-0528-Qwen3-8B-layer-mix-bpw-3.8-mlx（GreenBitAI）是 AI Hashrate 收录的2.3B 参数开放权重模型。 按 8K 上下文估算：Q4 约需 2.72 GB VRAM（权重 1.26 GB + KV 0.46 GB + 开销 1 GB），FP16 约需 6.06 GB。 在该上下文假设下，目录中约有 63 款 GPU/加速器能在 Q4 下完整装下此模型。 Q4 最快配置：B200 192GB SXM ≈ 2213.4 tok/s（估算）; MI300X 192GB ≈ 1466.4 tok/s（估算）; H200 141GB SXM5 ≈ 1328.1 tok/s（估算）; H100 80GB SXM5 ≈ 926.9 tok/s（估算）; Gaudi 3 128GB ≈ 906.4 tok/s（估算）。 下表给出各硬件的 VRAM 装机情况与每美元 tok/s（按 MSRP 标价）。估算基于显存带宽公式；有实测时以实测为准。详见方法论页。 方法论.

126 个硬件配置——按 tok/s 排序。默认装机上下文 8K。

装机核对

• RTX 5090 32GB — 装得下 · ≈495.8 tok/s Q4 估算
• RTX 3090 Ti 24GB — 装得下 · ≈278.9 tok/s Q4 估算
• RTX 4090 24GB — 装得下 · ≈278.9 tok/s Q4 估算
• RTX 5080 16GB — 装得下 · ≈265.6 tok/s Q4 估算
• RTX 6000 Ada 48GB — 装得下 · ≈265.6 tok/s Q4 估算
• RX 7900 XTX 24GB — 装得下 · ≈265.6 tok/s Q4 估算
• RTX 3090 24GB — 装得下 · ≈259.0 tok/s Q4 估算
• RTX 5070 Ti 16GB — 装得下 · ≈247.9 tok/s Q4 估算
• L40S 48GB — 装得下 · ≈239.1 tok/s Q4 估算
• Mac Studio M3 Ultra 96GB — 装得下 · ≈226.6 tok/s Q4 估算
• Mac Studio M2 Ultra 192GB — 装得下 · ≈221.3 tok/s Q4 估算
• RX 7900 XT 20GB — 装得下 · ≈221.3 tok/s Q4 估算

12 款热门零售 GPU；上表每行的「装得下？」结论同样链接到完整装机核对页。