Noul record de viteză de antrenament CIFAR-10: 94% în 1,99 secunde pe un A100 Record anterior: 2,59 secunde (10 noiembrie 2024) Noul deținător al recordului: Motor de descoperire algoritmică dezvoltat de @hivergeai Jurnal de modificări: - Muon: Vectorizează NS iter și reduce frecvența pasului de "normalizare a greutăților" 1/3

- Date aug: Adăugați fluctuație de culoare și vectorizați decuparea aleatorie - Compilare: Compilare xent fwd/bwd - Arhitectură: Înlocuiți GELU cu SiLU, utilizați SVD pentru inițializarea primului strat și utilizați formatul channels_last cu fp16 pentru toate conv-urile - Hparams: ajustări incluzând bsz 2000 -> 1536 și epoci 8 -> 7.6 2/3

- TTA: Săriți pentru exemple ușoare - Limitare termică: Repaus timp de 8 secunde între rulări (afectează doar timpul mediu, nu înregistrarea) Notă: Autorii au raportat un timp de 2,02 secunde. Reproducerea mea (lanterna 2.7.0; hardware văzut mai jos) a avut un timp minim de 1,99 secunde. Cod: 3/3