Titan Xp 12GB 是 NVIDIA 的加速器,配备 12 GB GDDR5X,峰值显存带宽约 548 GB/s。 AI Hashrate 按 8K 上下文估算本地 LLM 解码速度(batch 1):能否装下 = 权重 + KV cache + 1 GB 运行时开销,而非只看权重。 Q4 下约有 18 个收录模型能完整装进此卡;FP16 下约 7 个。 Q4 速度前列:MiniCPM5-1B ≈ 322.9 tok/s(估算,装得下); Qwen3.5-2B ≈ 174.4 tok/s(估算,装得下); DeepSeek-R1-0528-Qwen3-8B-layer-mix-bpw-3.8-mlx ≈ 151.6 tok/s(估算,装得下); Llama-3.2-3B-Instruct ≈ 109.0 tok/s(估算,装得下); Qwen3-4B-Instruct-2507 ≈ 87.2 tok/s(估算,装得下)。 相对排名比绝对 tok/s 更可靠。带宽公式与实测锚点政策见方法论页。 方法论.