HGX, NVL және NVL72: GPU арасындағы байланыс қалай құрылған

1. GPU санын домен мөлшерінен ажыратыңыз

Байланыс домені — белгілі бір жоғары жылдамдықты байланыспен біріктірілген үдеткіштер тобы. Оның шекарасы корпуспен сәйкес келмеуі мүмкін. HGX ортақ платадағы SXM модульдерін NVLink және NVSwitch арқылы біріктіреді. H200 NVL жеке PCIe-карталары көпірлермен қосылады. GB200 және GB300 NVL72 жүйелерінде бір NVLink домені бүкіл тіректің есептеу модульдерін қамтиды.

Төрт GPU-ға арналған көпірлермен қосылған сегіз H200 NVL төрт GPU-дан тұратын екі топ құрайды. Жұптық нұсқа да бар; көпірлер құрамын ұсыныстан тексеру керек. Топтар арасындағы алмасу сегіз GPU-лық NVSwitch байланысына айналмайды. Екі жүйеде де сегіз H200 орнатылғаны үшін мұндай конфигурацияны HGX-пен тең бағалауға болмайды.

2. Атауды физикалық платформамен салыстырыңыз

NVL және NVL72 атаулары ұқсас болғанымен, ауқымы бөлек жүйелерді білдіреді. Жеке PCIe-карта, HGX-плата және тұтас тірек — жеткізудің әртүрлі бірлігі. Үдеткіш суреті архитектураны түсіндіреді, бірақ корпус құрамын растамайды. Әсіресе сатушы серияның ортақ атауын қолданса, артикулды, орналасу сызбасын және бөлшектер тізімін салыстырыңыз.

3. Әртүрлі жадты бір VRAM көлеміне қоспаңыз

HBM GPU-ға тиесілі, жүйелік RAM CPU-ға қызмет етеді. Grace Blackwell үшін өндіруші екі санатты қамтитын жалпы жылдам жадты да көрсетеді. Fast memory көлемі дәл сондай HBM көлеміне тең емес. Ортақ адрестеу немесе деректердің келісімділігі барлық жадқа бірдей жылдам қатынауды білдірмейді: салмақтар мен KV-кэштің нақты орны маңызды.

NVLink доменінің өзінде модель мен оның күйін орындау қозғалтқышы бөледі. Әр GPU-дың қолжетімді көлемін, қабаттардың орналасуын, ықтимал қайталануын және қызметтік қорын тексеріңіз. CPU жады дерек көшіруге қатыса алады, бірақ бұл алмасу шығыны өлшенетін бөлек режим. Модель есебіне HBM мен CPU RAM-ды екі бөлек жолмен сұраңыз.

4. Бөлу тәсілін байланысқа сай таңдаңыз

Tensor parallelism есептеуді қабаттың ішінде бөліп, жиі алмасуды қажет етеді. Pipeline parallelism қабат топтарын әр құрылғыға орналастырады. Модельдің тәуелсіз көшірмелері әртүрлі сұрауларға қызмет етіп, синхрондауға басқа талап қоя алады. Үлкен домен оны қажет ететін міндеттерге пайдалы; байланысқан GPU санының өзі сервис жылдамдығын анықтамайды.

Түйіндер арасындағы желіні бөлек тексеріңіз: NIC саны, олардың GPU мен CPU-ға байланысы, коммутаторлар, кабельдер, RDMA қолдауы және нақты өткізу қабілеті. 400 Gb/s портын 900 GB/s NVLink-пен тек саны бойынша салыстырмаңыз: әріп регистрі бірлікті сегіз есе өзгертеді. Жарияланған мәндер әртүрлі бағытты немесе жиынтықты сипаттауы мүмкін.

5. Ұсынылған OEM-серверге қатысты дәлел сұраңыз

GPU, CPU, PCIe-коммутаторлары және желілік карталардың блок-схемасын алыңыз. Қай көпірлер орнатылғанын, қай порттар ортақ желілерді пайдаланатынын және алмасу басқа CPU арқылы өтетінін нақтылаңыз. Сызбаны жұмыс істеп тұрған сервердің байланыс матрицасымен және алмасу өлшемдерімен салыстырыңыз. Үдеткіш жарнамасы OEM-жинақтағы барлық маршрутты сипаттамайды.

Таңдалған модельдің толық жұмыс жолын тексеріңіз: орналасуы, іске қосылуы, ұзын сұрау және жоспарланған қатар орындалу. Конфигурацияларды бірдей БҚ нұсқасымен және бірдей кірістермен салыстырыңыз. Жеткізуші корпус не желілік картаны ауыстырса, сызбаны жаңартып, маңызды өлшемдерді қайталаңыз. Осылай топология карточкадағы атаудан тапсырыстың тексерілетін шартына айналады.

Бір үлкен модель үшін домен шекарасы, алмасу маршруты және жад орналасуы маңызды. Көптеген тәуелсіз міндетке басқа бөлу тәсілі тиімді болуы мүмкін.