Покрокові інженерні проекти LLM Кожен проект = одна концепція, вивчена важким (тобто реальним) способом Токенізація та вбудовування > створюйте кодувальник байт-пари + тренуйте власний словник підслів > написати "візуалізатор токенів" для відображення слів/фрагментів в ID > Одногаряче vs вивчене вбудовування: графік відстаней косинусів Позиційні вкладення > класична синусоїдальна проти вивченої проти RoPE проти ALiBi: демо всі чотири > анімувати послідовність іграшок, яка «кодується положенням» у 3D > аблатних позиціях — спостерігайте за падінням уваги Самоувага та мультиголова увага > увагу до точкового продукту ручного дроту за один токен > шкали до карт теплових направ на кілька голів, графік теплових карт ваги на голову > замаскувати майбутні токени, перевірити причинно-наслідковий зв'язок трансформатори, QKV та укладання > поєднати реалізації Attention з LayerNorm і залишками → одноблочному трансформаторі > узагальнити: n-блок "міні-формувач" на даних іграшок > розсікати Q, K, V: міняти їх місцями, ламати, дивитися, що вибухає Параметри вибірки: temp/top-k/top-p ...