Nytt hastighetsrekord för CIFAR-10: 94 % på 1,99 sekunder på en A100 Tidigare rekord: 2,59 sekunder (10 november 2024) Ny rekordhållare: Algoritmisk upptäcktsmotor utvecklad av @hivergeai Ändringslogg: - Myon: Vektorisera NS-iter och minska frekvensen av steget "normalisera vikter" 1/3

- Data aug: Lägg till färgjitter och vektorisera slumpmässig beskärning - Kompilering: Kompilera xent fwd/bwd - Arkitektur: Ersätt GELU med SiLU, använd SVD för första lagrets init, och använd channels_last format med fp16 för alla konv:er - Hparams: tweaks inklusive BSZ 2000 -> 1536 och epoker 8 -> 7,6 2/3

- TTA: Hoppa över för enkla exempel - Termisk strypning: Sömn i 8 sekunder mellan körningarna (påverkar endast genomsnittlig tid, inte rekordtid) Författarna rapporterade en tid på 2,02 sekunder. Min reproduktion (ficklampa 2.7.0; hårdvara se nedan) hade en minsta tid på 1,99s. Kod: 3/3