Shanghai AI🧠 Dense

InternLM 3 8B

8B
Параметры
6 ГБ
Мин. VRAM (Q4)
16 ГБ
Мин. VRAM (FP16)
32K
Контекст

💵 Цены API (OpenRouter)

Вход: $0.03/1M ток.Выход: $0.06/1M ток.

🖥 Совместимые GPU (34)

GPU с ≥6 ГБ VRAM для запуска InternLM 3 8B в квантизации Q4_K_M

GPUVRAMПропускнаяtok/sЦена (новая)$/tok/s
RTX 3080 10GBNVIDIA10 ГБ760 ГБ/с$600
RTX 4070 Ti 12GBNVIDIA12 ГБ504 ГБ/с$700
RTX 5070 12GBNVIDIA12 ГБ672 ГБ/с$549
RTX 4070 SUPER 12GBNVIDIA12 ГБ504 ГБ/с$599
RTX 4080 16GBNVIDIA16 ГБ717 ГБ/с$1,000
RTX 5080 16GBNVIDIA16 ГБ960 ГБ/с$999
RTX 5070 Ti 16GBNVIDIA16 ГБ896 ГБ/с$749
RTX 4080 SUPER 16GBNVIDIA16 ГБ736 ГБ/с$999
RTX 4070 Ti SUPER 16GBNVIDIA16 ГБ672 ГБ/с$799
RTX 4060 Ti 16GBNVIDIA16 ГБ288 ГБ/с$499
RX 7800 XT 16GBAMD16 ГБ624 ГБ/с$499
Mac M4 16GBApple16 ГБ120 ГБ/с$1,199
RX 7900 XT 20GBAMD20 ГБ800 ГБ/с$799
RTX 4090 24GBNVIDIA24 ГБ1008 ГБ/с$1,600
RTX 3090 24GBNVIDIA24 ГБ936 ГБ/с$900
RX 7900 XTX 24GBAMD24 ГБ960 ГБ/с$900
Mac M4 ProApple24 ГБ273 ГБ/с$2,500
A10 24GBNVIDIA24 ГБ600 ГБ/с$3,500
A30 24GBNVIDIA24 ГБ933 ГБ/с$4,500
RTX 5090 32GBNVIDIA32 ГБ1792 ГБ/с$1,999
A100 40GBNVIDIA40 ГБ1555 ГБ/с$10,000
L40S 48GBNVIDIA48 ГБ864 ГБ/с$8,000
L40 48GBNVIDIA48 ГБ864 ГБ/с$6,500
A40 48GBNVIDIA48 ГБ696 ГБ/с$5,000
Mac M4 MaxApple64 ГБ546 ГБ/с$4,000
H100 SXM 80GBNVIDIA80 ГБ3350 ГБ/с$30,000
H100 PCIe 80GBNVIDIA80 ГБ2039 ГБ/с$25,000
A100 80GBNVIDIA80 ГБ2039 ГБ/с$15,000
MI250X 128GBAMD128 ГБ3200 ГБ/с$12,000
Gaudi 3 128GBIntel128 ГБ3700 ГБ/с$15,000
H200 141GBNVIDIA141 ГБ4800 ГБ/с$30,000
MI300X 192GBAMD192 ГБ5300 ГБ/с$15,000
Mac M2 UltraApple192 ГБ800 ГБ/с$7,000
Mac M3 Ultra 192GBApple192 ГБ800 ГБ/с$6,999

📊 Рассчитайте ваш профит

Оцените заработок на локальном инференсе InternLM 3 8B

Открыть калькулятор →