← 返回 EN

方法论

AI Hashrate 是本地 / 自托管 LLM 推理的装机匹配与速度估算器。绝大多数格子是估算，少量公开锚点是实测。本站不是实验室跑分榜。

只有两种标注

标注	含义
实测	已发表或收录的真实数字（已知时注明推理引擎）。覆盖该「模型 × GPU × 量化」组合的估算值。
估算	由硬件峰值显存带宽与模型尺寸计算。相对排名比绝对 tok/s 更可靠。

batch size 1 时，大模型的解码（生成）通常受显存带宽限制：

tok/s ≈（显存带宽 GB/s × 利用率）
       ÷（激活参数（十亿）× 每参数字节数）

实际引擎（llama.cpp、vLLM、MLX 等）、batch size 与 kernel 可能让数字上下浮动几十个百分点。请把估算当作选购参考，而非购买凭证。

判定不是只看权重。默认上下文为 8K token：

总需求_GB ≈ 权重_GB + KV_GB + 1.0
权重_GB = 总参数_B × 每参数字节数
KV_GB   = 激活参数_B × (上下文/1024) × 0.025

示例：约 8B 模型 Q4 权重 ≈ 4.4 GB；8K 的 KV ≈ 1.6 GB；加 1 GB 开销 → 约 7 GB。 8 GB 的卡可能只装权重够，但 8K/32K 下会失败——这种情况我们标为「否」。

界面可切换 4K / 8K / 32K。更长上下文更保守（误报「能」更少）。