Ключові теми для вивчення того, як працюють LLMS, все, що потрібно, це < 2 роки, якщо у вас є CS Foundation > токенізація та вбудовування > позиційні вкладення (абсолют, мотузка, алібі) > уваги до себе та мультиголової уваги > трансформатори > qkv > параметри відбору проб: температура, топ-к топ-п > кВ кеш (і чому висновок є швидким) > нескінченна увага і розсувне вікно (трюки з довгим контекстом) > суміш експертів (шари маршрутизації МНС) > згрупованих запитів увагу > нормалізація та активація > цілі передтренувальної підготовки (причинно-наслідкові, замасковані і т.д.) > Тонке налаштування vs інструкція Тюнінг vs RLHF > закони масштабування та криві ємності моделі Бонусні теми: > квантування - qat vs ptq (ggufs, awq і т.д.) > Навчання та стеки висновків (deepspeed, vllm тощо) > генерація синтетичних даних