Uusi CIFAR-10-harjoitusnopeusennätys: 94 % 1,99 sekunnissa yhdellä A100:lla Edellinen ennätys: 2.59 sekuntia (10. marraskuuta 2024) Uusi ennätyksen haltija: @hivergeai:n kehittämä algoritminen etsintämoottori Muutosloki: - Myoni: Vektoroi NS-iteri ja vähennä "normalisoi painot" -vaiheen taajuutta 1/3

- Tietojen lisäys: Lisää värivärinä ja vektoroi satunnainen rajaus - Käännös: Käännä xent fwd/bwd - Arkkitehtuuri: Korvaa GELU SiLU:lla, käytä SVD:tä ensimmäisen kerroksen initissä ja käytä channels_last muotoa fp16:lla kaikissa conv:issa - Hparams: parannuksia, mukaan lukien bsz 2000 -> 1536 ja epookit 8 -> 7.6 2/3

- TTA: Ohita helppoja esimerkkejä - Lämpökuristus: Lepotila 8 sekuntia ajojen välillä (vaikuttaa vain keskimääräiseen ei ennätysaikaan) Huomautus: Kirjoittajat ilmoittivat ajaksi 2,02 sekuntia. Toistoni (taskulamppu 2.7.0; laitteisto näkyy alla) oli vähintään 1,99 sekuntia. Koodi: 3/3