Ornith-1.0-9B

DeepReinforce · 9.0B · ctx 256K · MIT · HuggingFace

Ornith-1.0-9B（DeepReinforce）是 AI Hashrate 收录的9.0B 参数开放权重模型。 按 8K 上下文估算：Q4 约需 7.75 GB VRAM（权重 4.95 GB + KV 1.8 GB + 开销 1 GB），FP16 约需 20.8 GB。 在该上下文假设下，目录中约有 44 款 GPU/加速器能在 Q4 下完整装下此模型。 Q4 最快配置：B200 192GB SXM ≈ 565.7 tok/s（估算）; MI300X 192GB ≈ 374.7 tok/s（估算）; H200 141GB SXM5 ≈ 339.4 tok/s（估算）; H100 80GB SXM5 ≈ 236.9 tok/s（估算）; Gaudi 3 128GB ≈ 231.6 tok/s（估算）。 下表给出各硬件的 VRAM 装机情况与每美元 tok/s（按 MSRP 标价）。估算基于显存带宽公式；有实测时以实测为准。详见方法论页。 方法论.

100 个硬件配置——按 tok/s 排序。默认装机上下文 8K。

硬件	VRAM	量化	tok/s	装得下？	tok/s/$
B200 192GB SXM	192	Q4	565.7 估算	是	0.014
MI300X 192GB	192	Q4	374.7 估算	是	0.025
H200 141GB SXM5	141	Q4	339.4 估算	是	0.01
H100 80GB SXM5	80	Q4	236.9 估算	是	0.008
Gaudi 3 128GB	128	Q4	231.6 估算	是	0.019
B200 192GB SXM	192	FP16	155.6 估算	是	0.004
A100 80GB SXM4	80	Q4	144.2 估算	是	0.01
RTX 5090 32GB	32	Q4	126.7 估算	是	0.063
MI300X 192GB	192	FP16	103.1 估算	是	0.007
RTX 5060 8GB	8	Q4	96.4 估算	否	0.322
RTX 5060 Ti 8GB	8	Q4	96.4 估算	否	0.254
RTX 3070 8GB	8	Q4	96.4 估算	否	0.193
H200 141GB SXM5	141	FP16	93.3 估算	是	0.003
RTX 4090 24GB	24	Q4	71.3 估算	是	0.045
RTX 4090D 24GB (China)	24	Q4	71.3 估算	是	0.045
RTX 3090 Ti 24GB	24	Q4	71.3 估算	是	0.036
RTX 5080 16GB	16	Q4	67.9 估算	是	0.068
RX 7900 XTX 24GB	24	Q4	67.9 估算	是	0.068
RTX 6000 Ada 48GB	48	Q4	67.9 估算	是	0.01
RTX 3090 24GB	24	Q4	66.2 估算	是	0.044
H100 80GB SXM5	80	FP16	65.1 估算	是	0.002
Gaudi 3 128GB	128	FP16	63.7 估算	是	0.005
RTX 5070 Ti 16GB	16	Q4	63.4 估算	是	0.085
RTX 4060 Ti 8GB	8	Q4	62.0 估算	否	0.155
RX 7600 8GB	8	Q4	62.0 估算	否	0.23
L40S 48GB	48	Q4	61.1 估算	是	0.008
RTX 4060 8GB	8	Q4	58.6 估算	否	0.196
Mac Studio M3 Ultra 96GB	96	Q4	57.9 估算	是	0.014
Mac Studio M2 Ultra 192GB	192	Q4	56.6 估算	是	0.008
RX 7900 XT 20GB	20	Q4	56.6 估算	是	0.063
RTX A6000 48GB	48	Q4	54.3 估算	是	0.012
RTX 3080 10GB	10	Q4	53.7 估算	是	0.077
RTX 4080 Super 16GB	16	Q4	52.0 估算	是	0.052
RTX 4070 Ti Super 16GB	16	Q4	47.5 估算	是	0.059
RTX 5070 12GB	12	Q4	47.5 估算	是	0.087
RX 9070 16GB	16	Q4	45.3 估算	是	0.083
RX 9070 XT 16GB	16	Q4	45.3 估算	是	0.076
RX 7800 XT 16GB	16	Q4	44.1 估算	是	0.088
RX 7900 XT 20GB	20	FP16	41.1 估算	否	0.046
RX 7900 GRE 16GB	16	Q4	40.7 估算	是	0.074
A100 80GB SXM4	80	FP16	39.6 估算	是	0.003
Arc A770 16GB	16	Q4	39.6 估算	是	0.113
RTX 4070 Ti 12GB	12	Q4	39.2 估算	是	0.049
MacBook Pro M4 Max 128GB	128	Q4	38.6 估算	是	0.009
RTX 4070 12GB	12	Q4	35.6 估算	是	0.059
RTX 4070 Super 12GB	12	Q4	35.6 估算	是	0.059
RTX 5090 32GB	32	FP16	34.8 估算	是	0.017
Arc B580 12GB	12	Q4	32.2 估算	是	0.129
RTX 5060 Ti 16GB	16	Q4	31.7 估算	是	0.074
RTX 5080 16GB	16	FP16	31.6 估算	否	0.032
RX 7700 XT 12GB	12	Q4	30.5 估算	是	0.068
RTX 5070 Ti 16GB	16	FP16	29.5 估算	否	0.039
MacBook Pro M3 Max 128GB	128	Q4	28.3 估算	是	0.007
Arc B570 10GB	10	Q4	26.9 估算	是	0.123
RTX 3060 12GB	12	Q4	25.5 估算	是	0.078
RTX 4080 Super 16GB	16	FP16	24.2 估算	否	0.024
T4 16GB	16	Q4	22.6 估算	是	0.011
RTX 4070 Ti Super 16GB	16	FP16	22.1 估算	否	0.028
RX 9070 16GB	16	FP16	21.0 估算	否	0.038
RX 9070 XT 16GB	16	FP16	21.0 估算	否	0.035
RX 7800 XT 16GB	16	FP16	20.5 估算	否	0.041
RTX 4060 Ti 16GB	16	Q4	20.4 估算	是	0.041
RX 7600 XT 16GB	16	Q4	20.4 估算	是	0.062
RTX 4090 24GB	24	FP16	19.6 估算	是	0.012
RTX 4090D 24GB (China)	24	FP16	19.6 估算	是	0.012
RTX 3090 Ti 24GB	24	FP16	19.6 估算	是	0.01
Mac mini M4 Pro 64GB	64	Q4	19.3 估算	是	0.009
RX 7900 GRE 16GB	16	FP16	18.9 估算	否	0.034
RX 7900 XTX 24GB	24	FP16	18.7 估算	是	0.019
RTX 6000 Ada 48GB	48	FP16	18.7 估算	是	0.003
Arc A770 16GB	16	FP16	18.4 估算	否	0.053
RTX 3090 24GB	24	FP16	18.2 估算	是	0.012
L40S 48GB	48	FP16	16.8 估算	是	0.002
Mac Studio M3 Ultra 96GB	96	FP16	15.9 估算	是	0.004
Mac Studio M2 Ultra 192GB	192	FP16	15.6 估算	是	0.002
RTX A6000 48GB	48	FP16	14.9 估算	是	0.003
RTX 5060 Ti 16GB	16	FP16	14.7 估算	否	0.034
RTX 5070 12GB	12	FP16	12.4 估算	否	0.023
MacBook Pro M4 Max 128GB	128	FP16	10.6 估算	是	0.002
T4 16GB	16	FP16	10.5 估算	否	0.005
RTX 4070 Ti 12GB	12	FP16	10.2 估算	否	0.013
RTX 3080 10GB	10	FP16	9.8 估算	否	0.014
RTX 4060 Ti 16GB	16	FP16	9.5 估算	否	0.019
RX 7600 XT 16GB	16	FP16	9.5 估算	否	0.029
RTX 4070 12GB	12	FP16	9.3 估算	否	0.016
RTX 4070 Super 12GB	12	FP16	9.3 估算	否	0.016
Mac mini M4 32GB	32	Q4	8.5 估算	是	0.009
Arc B580 12GB	12	FP16	8.4 估算	否	0.034
RX 7700 XT 12GB	12	FP16	8.0 估算	否	0.018
MacBook Pro M3 Max 128GB	128	FP16	7.8 估算	是	0.002
RTX 3060 12GB	12	FP16	6.7 估算	否	0.02
Mac mini M4 Pro 64GB	64	FP16	5.3 估算	是	0.002
Arc B570 10GB	10	FP16	4.9 估算	否	0.022
RTX 5060 8GB	8	FP16	3.7 估算	否	0.012
RTX 5060 Ti 8GB	8	FP16	3.7 估算	否	0.01
RTX 3070 8GB	8	FP16	3.7 估算	否	0.007
RTX 4060 Ti 8GB	8	FP16	2.4 估算	否	0.006
RX 7600 8GB	8	FP16	2.4 估算	否	0.009
Mac mini M4 32GB	32	FP16	2.3 估算	是	0.002
RTX 4060 8GB	8	FP16	2.2 估算	否	0.007

装机核对

• RTX 5090 32GB — 装得下 · ≈126.7 tok/s Q4 估算
• RTX 3090 Ti 24GB — 装得下 · ≈71.3 tok/s Q4 估算
• RTX 4090 24GB — 装得下 · ≈71.3 tok/s Q4 估算
• RTX 5080 16GB — 装得下 · ≈67.9 tok/s Q4 估算
• RTX 6000 Ada 48GB — 装得下 · ≈67.9 tok/s Q4 估算
• RX 7900 XTX 24GB — 装得下 · ≈67.9 tok/s Q4 估算
• RTX 3090 24GB — 装得下 · ≈66.2 tok/s Q4 估算
• RTX 5070 Ti 16GB — 装得下 · ≈63.4 tok/s Q4 估算
• L40S 48GB — 装得下 · ≈61.1 tok/s Q4 估算
• Mac Studio M3 Ultra 96GB — 装得下 · ≈57.9 tok/s Q4 估算
• Mac Studio M2 Ultra 192GB — 装得下 · ≈56.6 tok/s Q4 估算
• RX 7900 XT 20GB — 装得下 · ≈56.6 tok/s Q4 估算

12 款热门零售 GPU；上表每行的「装得下？」结论同样链接到完整装机核对页。

同族模型：Ornith

Ornith 1.0 Ornith-1.0-35B

全部 Ornith 模型 →