ЖС құрылғылары интернет-дүкені
МикроКБ, NAS, жұмыс станциялары, серверлер және шебіндік ЖС құрылғыларын қарап шығыңыз — әрбір жүйені ⏻ On Intelligence компаниясының орнату қызметімен және бағдарламалық жасақтама инновацияларымен бірге пайдалануға болады.
| Фото | Өнім | Баға | Сыйымдылық |
|---|
Модель сыйымдылығын түсіну
Модель сыйымдылығы AI моделіндегі параметрлер санын білдіреді (мысалы, 70B = 70 миллиард параметр). Үлкен модельдер әдетте көп жад пен есептеу қуатын талап етеді, бірақ ойлау мен шығару сапасын жақсарта алады.
Дәлдік (FP16 / FP8 / FP4) берілген модель сыйымдылығы үшін қанша жад қажет екенін анықтайды: төмен дәлдік форматы әр сатыда жад қажеттілігін шамамен екі есе азайтады (FP16 → FP8 → FP4), бірақ бұл шығару дәлдігінің төмендеуіне себеп болады.
| Модель өлшемі | Типтік жад (FP16) | Типтік жад (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |