GPU‑платформы
GPU-платформы для ИИ на 6–8 ускорителей NVIDIA и AMD
Здесь серверные платформы для обучения и инференса больших моделей от Supermicro, ASRock Rack, GIGABYTE, ASUS, HPE и Dell. Ускорители — NVIDIA A100, H100, H200, B200 и B300, RTX PRO 6000 Blackwell Server Edition, а также AMD Instinct MI300X, MI325X и MI355X. Памяти на один ускоритель — от 40 ГБ у A100 до 288 ГБ у B300 и MI355X.
Как выбрать:
- Суммарная память. У восьми H100 это 640 ГБ, у восьми B300 или MI355X — около 2,3 ТБ; модель вместе с контекстом должна в неё помещаться.
- Связь между GPU. SXM-модули NVIDIA соединены NVLink, Instinct — Infinity Fabric, а PCIe-карты без мостов NVLink обмениваются данными через шину, что медленнее при обучении.
- Программы. Под NVIDIA — CUDA, под AMD — ROCm.
Модели процессоров, объём памяти и накопители уточните у менеджера при заказе. Машины на 1–4 GPU ищите в разделе GPU-серверы.
Частые вопросы
Чем SXM отличается от PCIe?
SXM — модуль, который ставится прямо на плату сервера и связан с соседними ускорителями через NVLink. PCIe-карта универсальнее, но при обучении на восьми GPU обмен данными между картами идёт медленнее.
NVIDIA или AMD Instinct?
MI300X и MI325X дают 192 и 256 ГБ памяти на ускоритель — больше, чем H100 и H200. Работают они через ROCm: PyTorch и популярные движки инференса его поддерживают, а специфичные CUDA-библиотеки стоит проверить заранее.
Складывается ли память восьми GPU в один пул?
Нет, каждый ускоритель работает со своей памятью. Модель распределяют между GPU средствами фреймворка — тензорным или конвейерным параллелизмом.