GPU-серверге техникалық тапсырманы қалай дайындау керек

1. Міндетті сипаттап, модельді нақтылаңыз

Алдымен нәтижені атаңыз: қызметкерлерге білім базасы бойынша жауап беру, құжат өңдеу, суреттерді тану немесе басқа нақты операция. Инференсті — үйретілген модельді пайдалануды — үйретуден және қосымша үйретуден ажыратыңыз. Бұлардың жүктемесі әртүрлі; пайдаланушыларға жауап беруге жеткілікті конфигурация үйретуге жарайтынын растамайды.

Модельге сілтемені, салмақтардың нақты нұсқасын, форматын және лицензиялық шектеулерін көрсетіңіз. Кіріс деректерінің мысалдары мен жауап сапасының өлшемдерін қосыңыз. Модель әлі таңдалмаса, жарамды нұсқаларды атап, тексеру кезеңін белгілеңіз. «AI үшін сервер қажет» деген сипаттама жад көлемін де, нәтиженің пайдалы болу өлшемін де анықтамайды.

2. Жүктеме мен күту шегін анықтаңыз

Қалыпты ағын мен шарықтау жүктемесін бөлек сипаттаңыз: қатар келетін сұраулар саны, кіріс пен жауап ұзындығы, кезекке қоюға бола ма. Мәтіндік модельдің контексті токендермен — модель өңдейтін мәтін бөліктерімен — өлшенеді. Осы мәліметтерсіз пайдаланушылардың орташа саны есептеуге жеткіліксіз.

Өлшенетін мақсаттарды белгілеңіз: жауаптың алғашқы бөлігіне дейінгі уақыт, сұраудың толық орындалу уақыты, қателер үлесі және тест ұзақтығы. Бір диалог жылдамдығын жалпы өткізу қабілетімен шатастырмаңыз. Өсу сценарийін таңдап, қай шектерді өзгертуге болатынын көрсетіңіз: контекст, қатар орындалу, пакет мөлшері немесе модель сапасы.

3. Серверді тұтас жүйе ретінде қарастырыңыз

GPU-дан бөлек орындау ортасын, драйверлердің, кітапханалардың және контейнердің нұсқаларын жазыңыз. Таңдалған салмақтар мен есептеу операциялары нақты платформада қолдау табатынын тексеріңіз. Модель бірнеше үдеткішке бөлінсе, байланыс сызбасы мен бөлу тәсілін келісіңіз: жадтың бірдей жиынтық көлемі бірнеше GPU бірдей жұмыс істейтінін білдірмейді.

4. Пайдалану мен жауапкершілікті келісіңіз

Орналастыру орнын, қолжетімді электр қуаты мен салқындатуды, тірекке және желіге қойылатын талаптарды көрсетіңіз. Сұйықтықпен салқындату үшін алаңның үйлесімділігі бөлек тексеріледі. Бағдарламалық қамтуды кім орнататынын, жаңартатынын, жағдайын бақылайтынын және ақау кезінде өтініш қабылдайтынын анықтаңыз.

SLA — сервис деңгейі туралы келісім — нақты міндеттемелерді, жауапкершілік шектерін және өлшеу тәртібін сипаттауы керек. Әрекет ету уақытын қалпына келтіру уақытынан ажыратыңыз. Қызмет көрсету уақытын, резервтеуді, деректерді қайтару тәртібін және әкімшілердің қолжетімділігін көрсетіңіз. Бірнеше GPU болуы сервистің ақауға төзімділігін өздігінен қамтамасыз етпейді.

5. Талаптарды тапсырыс алдындағы тексеруге айналдырыңыз

Нақты жұмысқа ұқсас иесіздендірілген сұраулар жиынын дайындаңыз: қысқа және ұзын кірістер, күрделі жағдайлар және келісілген шарықтау жүктемесі. БҚ нұсқаларын, модель баптауларын және өлшеу тәсілін бекітіңіз. Хаттамада нәтиже сапасы, кідірістер, қателер, ең жоғары жад шығыны, қайта іске қосу және қалпына келтіру болуы керек. Бір жауапты көрсету мұндай тексеруді алмастырмайды.

Ұсыныста ТТ-ның әр тармағын конфигурациямен, тексеру нәтижесімен немесе ашық сұрақпен салыстырыңыз. Тексерілмеген шарттарды жауапты тұлғасы және аяқталу өлшемі бар бөлек кезеңге шығарыңыз. Тапсырыс алдында жеткізу құрамын, қабылдауды, кепілдікті және алаңдағы қажетті жұмыстарды келісіңіз.

ТТ нәтижесі — тексерілетін «міндет → жүктеме → конфигурация → қабылдау» байланысы. Ол жабдықты нақты жұмыс сценарийіне сай таңдауға және өлшеуді үдеткіш атауымен алмастырмауға көмектеседі.