gemma-4-31B-it-FP8-block

RedHatAI · 31.3B · ctx NoneK · apache-2.0 · HuggingFace

gemma-4-31B-it-FP8-block（RedHatAI）是 AI Hashrate 收录的31.3B 参数开放权重模型。 按 8K 上下文估算：Q4 约需 24.48 GB VRAM（权重 17.22 GB + KV 6.26 GB + 开销 1 GB），FP16 约需 69.86 GB。 在该上下文假设下，目录中约有 24 款 GPU/加速器能在 Q4 下完整装下此模型。 Q4 最快配置：B200 192GB SXM ≈ 162.6 tok/s（估算）; MI300X 192GB ≈ 107.8 tok/s（估算）; H200 141GB SXM5 ≈ 97.6 tok/s（估算）; H100 80GB SXM5 ≈ 68.1 tok/s（估算）; Gaudi 3 128GB ≈ 66.6 tok/s（估算）。 下表给出各硬件的 VRAM 装机情况与每美元 tok/s（按 MSRP 标价）。估算基于显存带宽公式；有实测时以实测为准。详见方法论页。 方法论.

93 个硬件配置——按 tok/s 排序。默认装机上下文 8K。

装机核对

• RTX 5090 32GB — 装得下 · ≈36.4 tok/s Q4 估算
• RTX 3090 Ti 24GB — 装不下 · ≈56.2 tok/s Q4 估算
• RTX 4090 24GB — 装不下 · ≈56.2 tok/s Q4 估算
• RTX 5080 16GB — 装不下 · ≈23.7 tok/s Q4 估算
• RTX 6000 Ada 48GB — 装得下 · ≈19.5 tok/s Q4 估算
• RX 7900 XTX 24GB — 装不下 · ≈53.5 tok/s Q4 估算
• RTX 3090 24GB — 装不下 · ≈52.2 tok/s Q4 估算
• RTX 5070 Ti 16GB — 装不下 · ≈22.2 tok/s Q4 估算
• L40S 48GB — 装得下 · ≈17.6 tok/s Q4 估算
• Mac Studio M3 Ultra 96GB — 装得下 · ≈16.7 tok/s Q4 估算
• Mac Studio M2 Ultra 192GB — 装得下 · ≈16.3 tok/s Q4 估算
• RX 7900 XT 20GB — 装不下 · ≈30.9 tok/s Q4 估算

12 款热门零售 GPU；上表每行的「装得下？」结论同样链接到完整装机核对页。