пошаговые проекты по инженерии LLM каждый проект = одно понятие, усвоенное трудным (т.е. реальным) путем Токенизация и встраивания > создайте кодировщик байтовых пар + обучите свой собственный словарь подслов > напишите "визуализатор токенов", чтобы сопоставить слова/части с ID > one-hot против обучаемого встраивания: постройте косинусные расстояния Позиционные встраивания > классические синусоидальные против обучаемых против RoPE против ALiBi: продемонстрируйте все четыре > анимируйте игрушечную последовательность, которая "кодируется по позиции" в 3D > аблатируйте позиции — смотрите, как внимание коллапсирует Самовнимание и многоголовое внимание > вручную реализуйте внимание с помощью скалярного произведения для одного токена > масштабируйте до многоголового, постройте тепловые карты весов по головам > замаскируйте будущие токены, проверьте причинное свойство трансформеры, QKV и стек > объедините реализации внимания с LayerNorm и остатками → трансформер с одним блоком > обобщите: n-блок "мини-трансформер" на игрушечных данных > разберите Q, K, V: поменяйте их местами, сломайте их, посмотрите, что взорвется Параметры выборки: temp/top-k/top-p ...