Meta🧠 DENSE
Llama 3.1 70B
70B
ПАРАМЕТРЫ
40 ГБ
МИН._VRAM (Q4)
140 ГБ
МИН._VRAM (FP16)
128K
КОНТЕКСТ
💵 ЦЕНЫ_API (OPENROUTER)
ВХОД: $0.40/1M ток.ВЫХОД: $0.40/1M ток.
🖥 СОВМЕСТИМЫЕ_GPU (14)
GPU с ≥40 ГБ VRAM для запуска Llama 3.1 70B в квантизации Q4_K_M
| GPU | VRAM | BANDWIDTH | TOK/S | ЦЕНА (НОВАЯ) | $/TOK/S |
|---|---|---|---|---|---|
| Gaudi 3 128GBIntel | 128 ГБ | 3700 ГБ/с | 100.5 | $15,000 | $149 |
| MI300X 192GBAMD | 192 ГБ | 5300 ГБ/с | 100.0 | $15,000 | $150 |
| H100 SXM 80GBNVIDIA | 80 ГБ | 3350 ГБ/с | 91.0 | $30,000 | $330 |
| H200 141GBNVIDIA | 141 ГБ | 4800 ГБ/с | 90.6 | $30,000 | $331 |
| MI250X 128GBAMD | 128 ГБ | 3200 ГБ/с | 86.9 | $12,000 | $138 |
| H100 PCIe 80GBNVIDIA | 80 ГБ | 2039 ГБ/с | 77.0 | $25,000 | $325 |
| A100 80GBNVIDIA | 80 ГБ | 2039 ГБ/с | 55.0 | $15,000 | $273 |
| L40S 48GBNVIDIA | 48 ГБ | 864 ГБ/с | 40.0 | $8,000 | $200 |
| Mac M2 UltraApple | 192 ГБ | 800 ГБ/с | 37.0 | $7,000 | $189 |
| Mac M3 Ultra 192GBApple | 192 ГБ | 800 ГБ/с | 37.0 | $6,999 | $189 |
| L40 48GBNVIDIA | 48 ГБ | 864 ГБ/с | 34.0 | $6,500 | $191 |
| A100 40GBNVIDIA | 40 ГБ | 1555 ГБ/с | 33.4 | $10,000 | $299 |
| A40 48GBNVIDIA | 48 ГБ | 696 ГБ/с | 27.1 | $5,000 | $185 |
| Mac M4 MaxApple | 64 ГБ | 546 ГБ/с | 25.0 | $4,000 | $160 |