Schritt-für-Schritt LLM Engineering Projekte ein Projekt = ein Konzept, das auf die harte (d.h. reale) Weise gelernt wurde Tokenisierung & Einbettungen > baue einen Byte-Paar-Encoder + trainiere deinen eigenen Subwort-Vokabular > schreibe einen "Token-Visualizer", um Wörter/Chunks auf IDs abzubilden > One-Hot vs. gelernte Einbettung: plotte Kosinus-Abstände Positionale Einbettungen > klassische sinusoidale vs. gelernte vs. RoPE vs. ALiBi: demonstriere alle vier > animiere eine Spielzeugsequenz, die in 3D "positionscodiert" wird > ablatiere Positionen – beobachte, wie die Aufmerksamkeit zusammenbricht Selbst-Attention & Multihead-Attention > handverdrahtete Punktprodukt-Attention für ein Token > skaliere auf Multi-Head, plotte pro-Head Gewicht-Hitzekarten > maskiere zukünftige Tokens, verifiziere die kausale Eigenschaft Transformer, QKV & Stapeln > stapel die Attention-Implementierungen mit LayerNorm und Residuen → Einzelblock-Transformer > generalisiere: n-Block "Mini-Former" auf Spielzeugdaten > zerlege Q, K, V: tausche sie aus, breche sie, sieh, was explodiert Sampling-Parameter: temp/top-k/top-p ...