projekty inżynieryjne LLM krok po kroku dany projekt = jedna koncepcja nauczona w trudny (tj. rzeczywisty) sposób Tokenizacja i osadzenia > zbuduj kodera par bajtowych + wytrenuj własny słownik subwyrazów > napisz „wizualizator tokenów”, aby mapować słowa/kawałki na ID > one-hot vs osadzenie uczone: wykres odległości cosinusowych Osadzenia pozycyjne > klasyczne sinusoidalne vs uczone vs RoPE vs ALiBi: zademonstruj wszystkie cztery > animuj zabawkową sekwencję, która jest „kodowana pozycyjnie” w 3D > ablate pozycje — obserwuj, jak uwaga się załamuje Samo-uwaga i uwaga wielogłowa > ręcznie połącz uwagę dot-product dla jednego tokena > skaluj do multi-head, wykres wag ciepłotowych na głowę > zamaskuj przyszłe tokeny, zweryfikuj właściwość przyczynową transformery, QKV i stosowanie > połącz implementacje uwagi z LayerNorm i resztkami → transformator jednego bloku > uogólnij: n-blokowy „mini-former” na danych zabawkowych > rozdziel Q, K, V: zamień je, złam je, zobacz, co eksploduje Parametry próbkowania: temp/top-k/top-p ...