Nový rychlostní rekord CIFAR-10: 94 % za 1,99 sekundy na jednom A100 Předchozí rekord: 2.59 sekundy (10. listopadu 2024) Nový držitel rekordu: Algorithmic discovery engine vyvinutý společností @hivergeai Seznam změn: - Mion: Vektorizace NS iter a snížení frekvence kroku "normalizace vah" 1/3

- Datové srpí: Přidejte kolísání barev a vektorizujte náhodné oříznutí - Kompilace: Kompilace xent fwd/bwd - Architektura: Nahraďte GELU za SiLU, použijte SVD pro první vrstvu init a použijte formát channels_last s fp16 pro všechny konvs - Hparams: vylepšení včetně bsz 2000 -> 1536 & epochy 8 -> 7.6 2/3

- TTA: Přeskočte pro snadné příklady - Thermal throttling: Režim spánku po dobu 8 s mezi běhy (ovlivňuje pouze průměrný, nikoli zaznamenávaný čas) Poznámka: Autoři uvedli čas 2,02 sekundy. Moje reprodukce (torch 2.7.0; hardware viz níže) měla minimální čas 1.99 s. Kód: 3/3