← AI Hashrate

2026 年本地 LLM 最佳 GPU 推荐（按预算分档）

下文所有速度数字均为 AI Hashrate 估算值，并非实测跑分 · 价格为 MSRP 官方指导价

判断一张显卡适不适合跑本地 LLM，关键看两个指标：VRAM 容量（决定装不装得下）和显存带宽（决定出字快不快）。对单人解码场景来说，纯算力的重要性远不如这两项。下面的推荐按预算分档；所有 tok/s 数字均按 AI Hashrate 公式在 8K 上下文下估算，并已标注为估算值。

文中价格为厂商发布时的 MSRP 官方指导价。实际售价随时波动 — 点击跳转后以 Amazon 实时价格为准。部分老卡目前基本只能在二手市场买到。

400 美元以内：入门门票

RTX 3060 12GB — MSRP $329

依然是入坑本地 LLM 最划算的正经选择。12 GB 装 8B 级别的 Q4 模型（需要 7.0 GB）还留有长上下文的余量，13B Q4（10.8 GB）也勉强塞得下。Llama-3.1-8B Q4 估算约 29 tok/s（估算值）— 日常聊天完全够用。它的瓶颈是 360 GB/s 带宽：8B 的 FP16（18.6 GB）装不下，所以做好常驻 Q4 的准备。

600–1,000 美元：主流甜点档

RTX 5070 Ti 16GB — MSRP $749

16 GB 显存、896 GB/s 带宽。所有 8B 级别模型的 Q4 都轻松装下；8B FP16 则卡在临界线上（需要 18.6 GB，可用约 15.2 GB — 装不下，请继续用 Q4 或缩短上下文）。8B Q4 估算约 71 tok/s（估算值）。

RX 7900 XTX 24GB — MSRP $999

主打容量的选择：这个价位给到 24 GB，装得下 8B FP16（18.6 GB），离 13B FP16 也最近。8B Q4 估算约 76 tok/s，8B FP16 估算约 21 tok/s（均为估算值）。AMD 的软件配置比 NVIDIA 更折腾，但每一美元换来的 VRAM 非常可观。

RTX 5080 16GB — MSRP $999

与 5070 Ti 同为 16 GB 档，但内存带宽更快（960 GB/s）。只有当差价不大时才值得升级 — 对 LLM 来说，相同的 VRAM 通常才是卡脖子的地方。

1,500–2,000 美元：发烧友档

RTX 4090 24GB — MSRP $1,599

长期称霸本地 LLM 圈的神卡：24 GB、1,008 GB/s。可以跑 8B FP16（估算约 22 tok/s），一直到 13B FP16 都不在话下。它著名的短板是：稠密 32B Q4 在 8K 上下文下需要 25.6 GB — 刚好超过 22.8 GB 的可用线 — 所以 30B 级稠密模型只能 offload，除非你缩短上下文。二手市场货源充足。

RTX 5090 32GB — MSRP $1,999

现役消费级卡皇。32 GB 终于能从容装下稠密 32B Q4（需要 25.6 GB），1,792 GB/s 带宽让它成为我们追踪过的最快单张消费卡：8B Q4 估算约 143 tok/s，Qwen3-32B Q4 估算约 35 tok/s，MoE 架构的 Qwen3-30B-A3B Q4 估算约 380 tok/s（均为估算值）。如果一张卡要通吃 70B 以下的一切，就是它。

工作站与 Apple：70B 俱乐部

RTX 6000 Ada 48GB — MSRP $6,800

48 GB 装得下 13B FP16，离 70B Q4 也近 — 但在 8K 上下文下还是差一点（需要 53.8 GB，可用 45.6 GB）。它适合多用户或专业场景，而不是当 70B 单机来用。

MacBook Pro M4 Max 128GB — MSRP $4,399

统一内存改变了游戏规则：128 GB 能装下 Llama-3.1-70B 的 Q4，甚至 gpt-oss-120b 的 Q4 — 而且是在一台笔记本里。代价是带宽（546 GB/s）：70B Q4 估算约 5 tok/s（估算值）— 适合跑批量任务和有耐心的慢聊，谈不上交互速度。但在 active 参数很小的 MoE 模型上它很出彩：gpt-oss-120b Q4 估算约 43 tok/s（估算值）。

数据中心档：非 80GB+ 不可时

A100 80GB — MSRP $15,000 · MI300X 192GB — MSRP $15,000

80 GB 是 70B Q4 的门槛线（A100 上估算约 19 tok/s）。MI300X 的 192 GB 和 5,300 GB/s 则是另一个量级：70B 连 FP16 都装得下（估算约 13 tok/s），Qwen3-235B 这样的 MoE 巨兽也能跑 Q4（估算约 153 tok/s）。这些都是服务器部件 — 除非你很清楚为什么需要它，否则别买。

买二手怎么样？

二手市场才是 VRAM 性价比真正有看头的地方，但有两点要注意：没有保修，而且价格每周都在波动 — 所以我们只标 MSRP 供参考，任何实时挂价（Amazon 或其他渠道）都应视为真实价格。

RTX 3090 24GB — 首发 MSRP $1,499，目前基本靠二手

经典的平价 24GB 方案。与 4090 同容量档，带宽 936 GB/s：8B Q4 估算约 74 tok/s（估算值），装得下 8B FP16，也撞上跟 4090 相同的 32B Q4 天花板。一台机器插两张凑 48 GB 跑 70B Q4 offload 实验是条成熟路线 — 不过到那时，单台 M4 Max 128GB 其实更省事，只是慢一些。

二手数据中心卡（A100 80GB）

二手 80 GB A100 的价格常远低于 MSRP，但别忘了它们是 SXM/PCIe 规格的服务器部件：供电、散热和机箱要求对大多数家庭环境都不现实。对几乎所有人来说，消费级显卡或 Apple silicon 才是获得大模型容量更稳妥的路。

到底该怎么选？