belangrijke onderwerpen om te leren hoe llms werken, het kost minder dan 2 jaar als je een cs-fundament hebt > tokenisatie en embeddings > positionele embeddings (absoluut, rope, alibi) > zelfaandacht en multihead aandacht > transformers > qkv > sampling parameters: temperatuur, top-k top-p > kv-cache (en waarom inferentie snel is) > infini aandacht & schuifvenster (lange context trucs) > mengsel van experts (moe routeringslagen) > gegroepeerde query-aandacht > normalisatie en activaties > pretrainingdoelen (causaal, gemaskeerd, enz.) > finetuning vs instructietuning vs rlhf > schaalwetten en modelcapaciteitscurves bonusonderwerpen: > kwantisaties - qat vs ptq (ggufs, awq, enz.) > training vs inferentiestacks (deepspeed, vllm, enz.) > synthetische gegevensgeneratie