Viktige emner for å lære hvordan LLM-er fungerer, alt som trengs er < 2 år hvis du har CS-grunnlag > tokenisering og innbygginger > posisjonelle innbygginger (absolutt, tau, alibi) > selvoppmerksomhet og flerhodeoppmerksomhet > transformatorer > QKV > prøvetakingsparametere: temperatur, topp-k topp-p > kv-cache (og hvorfor inferens er rask) > infini oppmerksomhet og skyvevindu (lange konteksttriks) > blanding av eksperter (moe-rutingslag) > gruppert spørringsoppmerksomhet > normalisering og aktiveringer > mål før trening (årsakssammenheng, maskert osv.) > finjustering vs instruksjonsjustering vs RLHF > skaleringslover og modellkapasitetskurver Bonus emner: > kvantiseringer - QAT vs PTQ (GGUFS, AWQ, etc) > trening vs slutningsstabler (deepspeed, vllm, etc) > syntetisk datagenerering