kluczowe tematy do nauki, jak działają llms, wszystko, czego potrzebujesz, to < 2 lata, jeśli masz podstawy informatyki > tokenizacja i osadzenia > osadzenia pozycyjne (absolutne, rope, alibi) > uwaga własna i uwaga wielogłowa > transformatory > qkv > parametry próbkowania: temperatura, top-k, top-p > pamięć podręczna kv (i dlaczego wnioskowanie jest szybkie) > nieskończona uwaga i okno przesuwne (sztuczki z długim kontekstem) > mieszanka ekspertów (warstwy routingu moe) > uwaga grupowa zapytań > normalizacja i aktywacje > cele wstępnego uczenia (przyczynowe, maskowane itp.) > dostrajanie vs dostrajanie instrukcji vs rlhf > prawa skalowania i krzywe pojemności modeli tematy dodatkowe: > kwantyzacje - qat vs ptq (ggufs, awq itp.) > stosy treningowe vs wnioskowania (deepspeed, vllm itp.) > generacja danych syntetycznych