OMNARҚазақстандағы бизнеске арналған GPU-серверлер.
NVIDIA HGX / NVL · AMD Instinct · Huawei Ascend
Сатып алу, жалға алу және іске қосуға дайындық.
Платформаларды салыстырып, міндетіңізге сай конфигурацияны таңдаңыз.
NVLink 5 Switch арқылы қосылған сегіз Blackwell Ultra GPU. Жинақтама мен салқындату режимі сервер өндірушісімен келісіледі.
Бір NVLink доменіндегі сегіз Blackwell GPU. Сервер мен салқындату инфрақұрылымға сай таңдалады.
Жоғары жылдамдықты байланысы бар сегіз үдеткіште оқыту және инференс.
Сегіз PCIe GPU: әрқайсысында төрт GPU бар екі NVLink домені. Сервер мен көпірлердің үйлесімділігі коммерциялық ұсыныста расталады.
Сегіз MI355X GPU. Салқындату түрі, қуат шектері және алаңға қойылатын талаптар серверге байланысты, коммерциялық ұсыныста келісіледі.
Жадқа жоғары талап қоятын міндеттерге арналған сегіз үдеткіш.
Суретте осы платформаға арналған дайын жүйе үлгісі берілген. Нақты корпус, орнатылған үдеткіштер саны мен конфигурация ұсыныста бекітіледі.
Бағалар бюджетті жоспарлауға арналған, оферта немесе қоймада бар екенін растау болып табылмайды. ҚҚС, нақты жиынтық, жеткізу, кепілдік және мерзім коммерциялық ұсыныста көрсетіледі. Үдеткіштер жадының жалпы көлемі берілген; оны пайдалану бағдарламалық жасақтама мен байланыс топологиясына байланысты.
Модельді таңдаңыз. Жад пен бағаны салыстырыңыз.
| Платформа | Жад | Есеп нәтижесі | Конфигурацияны талқылау |
|---|---|---|---|
| H200 NVL · 8 GPUNVIDIA · CUDA$469 168 бастап | 1 128 GB | Жад көлемі жеткіліктіқалады 244,4 GB | |
| HGX H200 · 8 GPUNVIDIA · CUDA$404 504 бастап | 1 128 GB | Жад көлемі жеткіліктіқалады 244,4 GB | |
| HGX B200 · 8 GPUNVIDIA · CUDA$480 285 бастап | 1 440 GB | Жад көлемі жеткіліктіқалады 556,4 GB | |
| Instinct MI300X · 8 GPUAMD · ROCm$356 168 бастап | 1 536 GB | Жад көлемі жеткіліктіқалады 652,4 GB | |
| Instinct MI325X · 8 GPUAMD · ROCmСұрау бойынша | 2 048 GB | Жад көлемі жеткіліктіқалады 1 164,4 GB | |
| HGX B300 · 8 GPUNVIDIA · CUDA$634 046 бастап | 2 160 GB | Жад көлемі жеткіліктіқалады 1 276,4 GB |
Номиналды жад көлемі сыйымдылықты бағалайды. Жинақтама, БҚ, топология және қолжетімділік бөлек тексеріледі.
Дереккөздерді тексеру:753 млрд — чекпойнт параметрлері. 39 млрд — бір токенге белсенді.
Жарияланған чекпойнт: FP8 / BF16 / F32. Жарияланған чекпойнт немесе ресми нұсқаулықтағы салмақтар көлемі. Бұл — сақталған салмақтар көлемі, GPU жадының өлшемі емес: іске қосудағы түрлендіру оны арттыруы мүмкін. Резерв бөлек қосылады.
Салмақтар пішімі: Жарияланған чекпойнттан бастаңыз. Қосымша кванттау сапаға әсер етуі мүмкін; квантталған салмақтарды BF16-ға ауыстыру жоғалған дәлдікті қалпына келтірмейді.
Жұмыс резерві: Бір GPU үшін емес, бүкіл таңдалған конфигурациядағы KV-кэш, активациялар, жұмыс буферлері мен бос орынға арналған, салмақтардан бөлек жад. Контекст ұзындығы мен қатар орындалатын сұраулар санына қарай белгілеп, ең жоғары шығынды өлшеңіз. Дайын мәндер — мысалдар, әмбебап ұсыныстар емес.
Модель карточкасы ↗Жарияланған салмақтар көлемі ↗Жарияланған іске қосу нұсқаулығы ↗Бұл — модель конфигурациясында көрсетілген шек; таңдалған жабдықта тексерілген контекст емес.
DSA ішінде kv_lora_rank=512 және full/shared индексаторлары қолданылады. Кэшті осы архитектураны ескеріп есептеу керек.
Модель config-і ↗Контекст config-і тексерілді: .
Орындау ортасын тексеру қажет. Жарияланған іске қосу нұсқаулығы: HGX H200 · 8 GPU, Instinct MI355X · 8 GPU, Instinct MI325X · 8 GPU, Instinct MI300X · 8 GPU.
Салмақтар = барлық параметр × бір параметрге байт: BF16 — 2, FP8 — 1, INT4 — 0,5. Бірлік — ондық GB. MoE үшін тек белсенді параметрлер емес, барлық сарапшылар есептеледі. Бұл — төменгі шек: кванттау масштабтары, квантталмаған қабаттар мен метадеректер бөлек есептелмейді; олар резервке сыюы тиіс.
Жасыл белгі — жадқа сыйымдылық бағасы, тексерілген іске қосу емес. Жад GPU арасында бөлінген. Тензорлық және сарапшылық параллелизмді, байланыстарды, есептеу ядролары мен фреймворк қолдауын тексеру керек. Ұзын контекст пен қатар жұмыс істейтін пайдаланушылар көбірек резервті талап етуі мүмкін. Үйрету және қосымша үйрету үшін бөлек есеп қажет.
KV-кэш контекст ұзындығына, қатар орындалатын сұрауларға, кэш дәлдігіне және модельдің назар аудару архитектурасына тәуелді. Жылжымалы терезе, сызықтық назар аудару және сығылған кэш бөлек бағалауды қажет етеді; ең жоғары шығын таңдалған орындау ортасында тексеріледі. Бұл өріс сервер баптауларын емес, сыйымдылық бағасын өзгертеді.
Hugging Face: KV-кэш стратегиялары ↗vLLM: Гибридті кэшті бөлу ↗BF16 / FP8 / INT4 — жад көлемінің сценарийлері. Формат атаулары GPU-дағы нативті қолдауды немесе модель сапасының бірдей болуын растамайды.
NVL үшін топология мен модельді бөлу бөлек тексеріледі: 8 GPU бар PCIe сервері HGX/NVSwitch жүйесіне тең емес. Іске қосар алдында ROCm ортасында нақты чекпойнт пен ядроларды тексеріңіз.
Huawei Ascend CANN стегін пайдаланады. Жад есебі таңдалған чекпойнттың, операторлардың немесе дәлдіктің осы платформаларда жұмыс істейтінін растамайды. Модель порты мен орындау ортасын тексеру қажет.
NVIDIA спецификациясына сай есепте HGX B300 үшін әр GPU-ға 270 GB, ал GB300 үшін 279 GB қолданылады. 288 GB мәні қолданылмайды. CPU жедел жады GPU жадына қосылмайды. NVIDIA Blackwell Ultra (PDF) ↗
Ашық салмақтар шектеусіз қолдануды білдірмейді. Әр модельдің лицензиясы мен іске қосу нұсқаулығын оқыңыз.
Жүктемеңізге сай жеке конфигурацияны талқылаймыз. Жалға алу мерзімін, орналастыруды, қолжетімділікті және қолдау шарттарын іске қоспас бұрын келісеміз.
Жалға алу құнын есептеу↗Алғашқы ерекшеліктен жабдықты тапсыруға дейін. Қазақстандағы компаниялармен жұмыс істеп, нақты жүктемеге сай инфрақұрылым таңдаймыз.
Модель, дәлдік, жад көлемі, пайдаланушылар саны және мақсатты өнімділік.
NVIDIA, AMD немесе Huawei. Жадты, үдеткіштер байланысын, бағдарламалық үйлесімділікті және иелену құнын салыстырамыз.
Сипаттама, жабдықты тексеру, шарт, шот бойынша төлем және кепілдік шарттары.
OMNAR — Қазақстандағы GPU-серверлерді жеткізуші. Қазақстан компаниялары үшін жабдық таңдап, сатып алу және жеке серверді жалға алу бойынша ұсыныстар дайындаймыз.
Қазақстандық заңды тұлға, теңгемен есептелген ұсыныс және шот бойынша төлем.
Жабдық, жеткізу, салықтар және қосымша қызметтер коммерциялық ұсыныста көрсетіледі.
Сіздің алаңыңыздағы сервер немесе орналасуы мен қолжетімділігі келісілген жеке серверді жалға алу.
Инфрақұрылымды талқылаудың үш бастапқы нүктесі.
Модельді, контексті, пайдаланушылар санын және рұқсат етілген жауап уақытын белгілеңіз.
Не дайындау керекДеректерді, қосымша оқыту әдістерін және іске қосу ұзақтығын сипаттаңыз. Бір сценарийде сатып алу мен жалға алуды салыстырыңыз.
Не дайындау керекСерверлерді немесе тұтас тіректі келіспей тұрып алаңды, қуатты, салқындатуды және желіні тексеріңіз.
Не дайындау керекАлғашқы жад есебінен серверді қабылдауға дейінгі мәліметтер жеке нұсқаулықтарда жинақталған.
Ұсыныстарды салыстырып, тапсырыс алдында нәтижені тексеру үшін міндет, жүктеме және пайдалану туралы қандай мәліметтер қажет.
Нұсқаулықты оқу: GPU-серверге техникалық тапсырманы қалай дайындау керекСалмақтарды, KV-кэшті және жұмыс резервін бөлу, MoE ерекшелігін ескеру және бағалауды нақты жүктемеде тексеру.
Нұсқаулықты оқу: Тілдік модельге қанша GPU жады қажетЕкі нұсқаны бір міндет бойынша салыстырыңыз: жүктеме, пайдалану мерзімі, бақылау және толық шығын.
Нұсқаулықты оқу: GPU серверін сатып алу немесе жалға алуТірек пен қуаттан қолжетімділікке, БҚ нұсқаларына және қабылдауға дейін: жеткізуден бұрын не келісу керек.
Нұсқаулықты оқу: GPU серверіне алаңды қалай дайындау керекМодель мен жоспарланған жүктеме туралы жазыңыз. Серверді сатып алуға немесе жалға алуға сұрау жіберіп, ұсыныс дайындауға қажетті мәліметтерді көрсетіңіз.
Модель мен бағдарламалық стектен бастаңыз: NVIDIA үшін CUDA, AMD үшін ROCm, Huawei үшін CANN. Содан кейін салмақ пішімін, жадты бөлуді және нақты жүктемедегі өнімділікті тексеріңіз. Жад көлемінің бірдей болуы платформалардың өзара алмастырылатынын білдірмейді.
Баға жинақтама мен жеткізу шарттарына байланысты. Теңгемен көрсетілген қорытынды баға, ҚҚС туралы мәлімет, жеткізу мерзімі және кепілдік қамтылған коммерциялық ұсынысты сұратыңыз. Қолжетімділік ұсыныста расталады.
HGX H200 — NVSwitch бар SXM платформасы. H200 NVL негізіндегі PCIe жинағының үйлесімділігін тексеру керек; ол төрт GPU-дан тұратын екі топтан құралуы мүмкін. Бұл HGX-тің сегіз GPU-ды біріктіретін байланыс жүйесіне тең емес.
Конфигурация, мерзім, деректер орталығы, қосылу, қолжетімділік режимі және қолдау нақтыланады. Қуаттың қолжетімділігі мен басталу күні жеке расталады; бірден іске қосуға уәде берілмейді.