Inženýrské projekty LLM krok za krokem Každý projekt = jeden koncept naučený tvrdou (tj. skutečnou) cestou Tokenizace a vkládání > vytvořit kodér byte-pair + natrénovat vlastní slovní zásobu podsloví > napsat "vizualizér tokenů" pro mapování slov/chunků na ID > one-hot vs learned-embed: vykreslete kosinové vzdálenosti Poziční vkládání > klasické sinusové vs naučené vs RoPE vs ALiBi: demo všechny čtyři > animace sekvence hraček "zakódované do polohy" ve 3D > anulovat pozice – sledovat kolaps pozornosti Sebe-pozornost & Vícehlavá pozornost > ruční drát na dot-product pozornost pro jeden token > škálování na více hlav, vykreslování teplotních map hmotnosti na hlavu > maskování budoucích tokenů, ověření příčinné vlastnosti transformátory, QKV, & stohování > skládání implementací Attention pomocí LayerNorm a reziduí → jednoblokovém transformátoru > zobecnit: n-blok "mini-former" na datech hraček > rozpitvat Q, K, V: vyměňte je, rozbijte je, podívejte se, co exploduje Parametry vzorkování: temp/top-k/top-p ...