steg-för-steg LLM Engineering Projekt Varje projekt = ett koncept som lärts in på det hårda (dvs. verkliga) sättet Tokenisering och inbäddningar > bygger byte-parkodare + tränar ditt eget underordvokabulär > skriva en "tokenvisualiserare" för att mappa ord/segment till ID:n > one-hot vs learned-embedding: plot cosinusavstånd Positionella inbäddningar > klassiska sinusformade vs inlärda vs RoPE vs ALiBi: demo alla fyra > animera en leksakssekvens som är "positionskodad" i 3D > avlägsna positioner – se hur uppmärksamheten kollapsar Själv-Uppmärksamhet & Uppmärksamhet på flera huvuden > hand-wire dot-produktuppmärksamhet för en token > skala till värmekartor med flera huvuden, plotta per vikt per huvud > maskera framtida tokens, verifiera orsakssamband transformatorer, QKV och stapling > stapla Attention-implementeringarna med LayerNorm och rester → transformator med ett block > generalisera: n-block "mini-former" på leksaksdata > dissekera Q, K, V: byt ut dem, bryt dem, se vad som exploderar Provtagningsparametrar: temp/top-k/top-p ...