Proyek Teknik LLM langkah demi langkah setiap proyek = satu konsep yang dipelajari dengan cara yang sulit (yaitu nyata) Tokenisasi & Penyematan > membangun encoder pasangan byte + melatih kosakata subkata Anda sendiri > menulis "visualiser token" untuk memetakan kata/potongan ke ID > satu-panas vs penyematan yang dipelajari: plot jarak kosinus Penyematan Posisi > klasik sinusoidal vs dipelajari vs RoPE vs ALiBi: demo keempatnya > menganimasikan urutan mainan yang "dikodekan posisi" dalam 3D > posisi ablate—saksikan perhatian runtuh Perhatian Diri & Perhatian Multihead > perhatian produk titik kawat tangan untuk satu token > skala ke peta panas berat per kepala > menutupi token masa depan, memverifikasi properti kausal transformator, QKV, & penumpukan > menumpuk implementasi Perhatian dengan LayerNorm dan residu → transformator blok tunggal > menggeneralisasikan: blok-n "mini-former" pada data mainan > membedah Q, K, V: tukar, hancurkan, lihat apa yang meledak Parameter Pengambilan Sampel: temp / top-k / top-p ...