progetti di ingegneria LLM passo dopo passo o ogni progetto = un concetto appreso nel modo difficile (cioè reale) Tokenizzazione & Embeddings > costruisci un codificatore byte-pair + allena il tuo vocabolario subword > scrivi un "visualizzatore di token" per mappare parole/pezzi a ID > one-hot vs embedding appreso: traccia le distanze coseno Embeddings Posizionali > sinusoidale classico vs appreso vs RoPE vs ALiBi: dimostra tutti e quattro > anima una sequenza giocattolo che viene "posizionata" in 3D > abla le posizioni—guarda il collasso dell'attenzione Self-Attention & Multihead Attention > collega manualmente l'attenzione dot-product per un token > scala a multi-head, traccia le heatmap dei pesi per testa > maschera i token futuri, verifica la proprietà causale transformers, QKV, & stacking > impila le implementazioni di Attenzione con LayerNorm e residui → transformer a blocco singolo > generalizza: "mini-former" n-blocco su dati giocattolo > disseziona Q, K, V: scambiali, rompi, guarda cosa esplode Parametri di Campionamento: temp/top-k/top-p ...