Proiecte de inginerie LLM pas cu pas fiecare proiect = un concept învățat în mod greu (adică real) Tokenizare și încorporari > construiți codificatorul de perechi de octeți + antrenați-vă propriul vocabular de subcuvinte > scrie un "vizualizator de token" pentru a mapa cuvinte/bucăți la ID-uri > one-hot vs learned-embedding: reprezentați distanțele cosinusului Încorporari poziționale > sinusoidal clasic vs învățat vs RoPE vs ALiBi: demo toate patru > anima o secvență de jucărie "codificată pe poziție" în 3D > ablate poziții - urmăriți cum atenția se prăbușește Atenție de sine și atenție la mai multe capete > atenție manuală a produsului punct pentru un jeton > scalați la mai multe capete, trasați hărți termice de greutate pe cap > mască token-urile viitoare, verifică proprietatea cauzală transformatoare, QKV și stivuire > stivuiți implementările Attention cu LayerNorm și reziduuri → transformator cu un singur bloc > generalizează: n-block "mini-former" pe datele jucăriilor > disecați Q, K, V: schimbați-le, spargeți-le, vedeți ce explodează Parametri de eșantionare: temp/top-k/top-p ...