HGX, NVL и NVL72: как устроены связи между GPU

1. Отделите количество GPU от размера домена

Домен связи — группа ускорителей, объединенных определенным высокоскоростным межсоединением. Его граница не обязана совпадать с корпусом. HGX объединяет модули SXM на общей плате через NVLink и NVSwitch. У H200 NVL отдельные PCIe-карты соединяются мостами. В GB200 и GB300 NVL72 один NVLink-домен охватывает вычислительные модули целой стойки.

Восемь H200 NVL с четырехсторонними мостами образуют две группы по четыре GPU. Возможен и вариант с парами; состав мостов нужно проверить в предложении. Передача между такими группами не становится восьмипроцессорным NVSwitch-соединением. Нельзя оценивать эту конфигурацию как HGX только потому, что в обоих случаях установлено восемь H200.

2. Сопоставьте название с физической платформой

Обозначения NVL и NVL72 похожи, но описывают системы разного масштаба. Одна PCIe-карта, HGX-плата и стойка — разные единицы поставки. Изображение ускорителя может пояснять архитектуру, однако не подтверждает состав корпуса. Сопоставляйте артикул, чертеж размещения и перечень комплектующих, особенно когда продавец использует общее название семейства.

3. Не складывайте разные виды памяти в одну VRAM

HBM принадлежит GPU; системная RAM обслуживает CPU. Для Grace Blackwell производитель также указывает суммарную быструю память, включающую обе категории. Большая цифра fast memory не равна такому же объему HBM. Общая адресация или согласованность данных не делает скорость всех обращений одинаковой: важно, где физически находятся веса и KV-кэш.

Даже внутри NVLink-домена движок распределяет модель и ее состояние. Проверяйте доступный объем каждого GPU, размещение слоев, возможное дублирование и служебный резерв. Память CPU может участвовать в переносе данных, но это отдельный режим с измеримой ценой обмена. Для расчета модели запрашивайте HBM и CPU RAM двумя разными строками.

4. Выберите способ распределения под связи

Tensor parallelism делит вычисления внутри слоев и требует частого обмена. Pipeline parallelism размещает группы слоев на разных устройствах. Независимые копии модели могут обслуживать разные запросы и предъявлять иные требования к синхронизации. Поэтому более крупный домен особенно полезен для задач, которым он действительно нужен; количество соединенных GPU само по себе не задает скорость сервиса.

Сеть между узлами проверяется отдельно: число NIC, привязка к GPU и CPU, коммутаторы, кабели, поддержка RDMA и фактическая пропускная способность. Не сравнивайте численно 400 Gb/s порта и 900 GB/s NVLink: регистр буквы меняет единицу в восемь раз, а опубликованные значения могут учитывать разные направления передачи и суммарность.

5. Попросите доказательства именно для предлагаемого OEM-сервера

Получите блок-схему GPU, CPU, PCIe-коммутаторов и сетевых карт. Уточните, какие мосты установлены, какие порты разделяют линии и проходит ли обмен через другой CPU. Затем сопоставьте схему с матрицей связей работающего сервера и результатами межпроцессорного обмена. Рекламная спецификация ускорителя не описывает все маршруты внутри OEM-сборки.

Проверяйте полный путь выбранной модели: размещение, старт, длинный запрос и целевую параллельность. Сравнивайте конфигурации на одной версии ПО и одинаковых входах. Если поставщик предлагает замену корпуса или сетевой карты, обновите схему и повторите значимые измерения. Так топология становится проверяемым условием заказа, а не названием в карточке.

Для одной большой модели важны границы домена, маршруты обмена и размещение памяти. Для множества независимых задач оптимальное распределение может быть другим.