Тілдік модельге қанша GPU жады қажет

1. Жад бюджетін бөліктерге бөліңіз

Салмақтар — модельдің сақталған параметрлері. Чекпойнттың нақты нұсқасынан, оның форматынан және салмақ файлдарының көлемінен бастаңыз. Жүктеу бумасының бүкіл көлемін салмақ деп есептемеңіз: онда қосымша материалдар болуы мүмкін. Керісінше, сақталған тензорлар көлемі жүктеу мен түрлендіруден кейін GPU-да бөлінген жадпен міндетті түрде сәйкес келмейді.

Салмақтарға KV-кэшті, аралық активацияларды, есептеу операцияларының жұмыс аймақтарын және орындау ортасының қызметтік шығындарын қосыңыз. Резерв нақты сценарийді қамтуы керек. «Жүктегеннен кейін бос» көрсеткіші бірнеше ұзын сұрау кезінде не болатынын білдірмейді. Өлшем бірліктерін бекітіңіз: ондық GB пен екілік GiB әртүрлі.

2. Салмақ форматын үнемдеу кепілдігімен шатастырмаңыз

Шамамен төменгі бағалау үшін параметрлер санын бір мәннің өлшеміне көбейтеді. Кестеде тек номиналды сақтау көлемі көрсетілген: кванттау коэффициенттері, метадеректер және басқа дәлдіктегі қабаттар қосымша шығын береді. Аралас чекпойнт нақты құрамы бойынша бағалануы керек.

Бит санын азайту кванттау деп аталады. Ол сіздің міндетіңізде жылдамдықтың өсуіне немесе сапаның сақталуына кепіл емес. Нақты форматты үдеткіш пен бағдарламаның қолдауы, дайын салмақтардың болуы және бақылау мысалдарындағы нәтиже тексеріледі. Салмақтар мен KV-кэш дәлдігін бөлек көрсетіңіз: бұлар әртүрлі баптаулар.

3. Ұзын контекст шығынын бағалаңыз

KV-кэш өңделген мәтін үшін назар аудару механизмінің аралық деректерін сақтайды. Оның шығыны архитектураға, контекст ұзындығына, сақтау форматына және қатар өңделетін тізбектер санына байланысты. Нақты іске асыру жадты алдын ала бөлуі мүмкін; кейбір архитектуралар кэштің өсуін шектейді. Сондықтан модель туралы мәліметсіз бір формула жеткіліксіз.

Тест үшін кіріс ұзындығын, ең ұзын жауапты және қатар орындалуды бірге белгілеңіз. Бір қысқа сұрауды ғана емес, қалыпты режимді шарықтау жүктемесімен салыстырыңыз. Кэшті жүйелік RAM-ға көшіру немесе кванттау GPU жадының шығынын азайтуы мүмкін, бірақ жұмыс шарттарын өзгертеді. Шешімді өлшенген кідіріс, өткізу қабілеті және сапа бойынша қабылдаңыз.

4. MoE үшін орналасатын барлық салмақты есептеңіз

MoE, яғни «сарапшылар қоспасы», токенді өңдеуге модель блоктарының бір бөлігін таңдайды. Белсенді параметрлер саны сақтау көлемін емес, есептеудің қолданылатын бөлігін сипаттайды. Барлық салмақ GPU жадында орналасса, барлық сарапшылар мен ортақ қабаттар есепке алынады. Есепке тек active көрсеткішін қоюға болмайды.

Салмақтың бір бөлігі RAM-ға көшірілсе немесе түйіндер арасында бөлінсе, бұл дерек тасымалына өзіндік талаптары бар бөлек орындау сызбасы. Әр бөліктің қайда орналасқанын, әр GPU-да не қалғанын және жұмысты қандай өлшеу растайтынын көрсетуді сұраңыз. Белсенді параметрлердің аз болуы жад шығынының аздығын өздігінен растамайды.

5. Бөлуді және нақты резервті тексеріңіз

Бірнеше GPU автоматты түрде бір үлкен жад қоймасына айналмайды. Модельді орындау ортасы бөледі: мысалы, қабат ішіндегі есептеуді бөледі немесе қабаттарды әртүрлі құрылғыға орналастырады. Сызбаның қолдауы, байланыстар, алмасу шығындары, қайталанатын деректер және ең көп жүктелген GPU-дағы ең жоғары шығын тексеріледі.

Алдымен есептік бюджет алыңыз, кейін таңдалған салмақтарды келісілген ортада іске қосыңыз. Мақсатты жүктемеде әр GPU жадын, кідірісті және қателерді өлшеңіз. Іске қосу мен қайта іске қосуды бөлек тексеріңіз. Қалған резерв еркін таңдалған пайызға емес, келісілген өсуге сай болуы керек. Тест өтпесе, контекст, қатар орындалу, формат немесе конфигурация өзгертіліп, өлшеу қайталанады.

Оң есеп сценарийді тексеруге болатынын білдіреді. Дайындықты сипаттамадағы VRAM қосындысы емес, нақты салмақтар, бағдарламалық орта және жүктеме бойынша қайталанатын тест растайды.