Nouveau record de vitesse d'entraînement CIFAR-10 : 94 % en 1,99 seconde sur un A100 Record précédent : 2,59 secondes (10 novembre 2024) Nouveau détenteur du record : moteur de découverte algorithmique développé par @hivergeai Journal des modifications : - Muon : Vectoriser NS iter et réduire la fréquence de l'étape 'normaliser les poids' 1/3

- Données aug : Ajouter du jitter de couleur et vectoriser le recadrage aléatoire - Compilation : Compiler xent fwd/bwd - Architecture : Remplacer GELU par SiLU, utiliser SVD pour l'initialisation de la première couche, et utiliser le format channels_last avec fp16 pour toutes les convolutions - Hparams : ajustements incluant bsz 2000 -> 1536 & epochs 8 -> 7.6 2/3

- TTA : Ignorer pour des exemples simples - Thermal throttling : Dormir pendant 8s entre les exécutions (n'affecte que la moyenne, pas le temps record) Remarque : Les auteurs ont rapporté un temps de 2,02 secondes. Ma reproduction (torch 2.7.0 ; matériel vu ci-dessous) avait un temps minimum de 1,99s. Code : 3/3