Neuer CIFAR-10 Trainingsgeschwindigkeitsrekord: 94 % in 1,99 Sekunden auf einem A100 Vorheriger Rekord: 2,59 Sekunden (10. November 2024) Neuer Rekordhalter: Algorithmische Entdeckungsmaschine entwickelt von @hivergeai Änderungsprotokoll: - Muon: Vektorisierung von NS iter und Reduzierung der Häufigkeit des Schrittes 'Gewichte normalisieren' 1/3

- Datenaug: Fügen Sie Farbverzerrung hinzu und vektorisieren Sie den zufälligen Zuschnitt - Kompilierung: Kompilieren Sie xent fwd/bwd - Architektur: Ersetzen Sie GELU durch SiLU, verwenden Sie SVD für die Initialisierung der ersten Schicht und verwenden Sie das Format channels_last mit fp16 für alle Convs - Hyperparameter: Anpassungen einschließlich bsz 2000 -> 1536 & Epochen 8 -> 7.6 2/3

- TTA: Überspringen für einfache Beispiele - Thermisches Drosseln: 8s schlafen zwischen den Durchläufen (beeinflusst nur den Durchschnitt, nicht die Rekordzeit) Hinweis: Die Autoren berichteten von einer Zeit von 2,02 Sekunden. Meine Reproduktion (torch 2.7.0; Hardware siehe unten) hatte eine Mindestzeit von 1,99s. Code: 3/3