Nuevo récord de velocidad de entrenamiento CIFAR-10: 94% en 1,99 segundos en un A100 Récord anterior: 2,59 segundos (10 de noviembre de 2024) Nuevo poseedor del récord: motor de descubrimiento algorítmico desarrollado por @hivergeai Registro de cambios: - Muón: Vectorizar NS iter y reducir la frecuencia del paso de 'normalizar pesos' 1/3

- Aumento de datos: agregue fluctuación de color y vectorice el recorte aleatorio - Compilación: Compilar xent fwd/bwd - Arquitectura: Reemplace GELU con SiLU, use SVD para el inicio de la primera capa y use el formato channels_last con fp16 para todas las convs - Hparams: ajustes que incluyen bsz 2000 -> 1536 y épocas 8 -> 7.6 2/3

- TTA: Omitir para ver ejemplos fáciles - Limitación térmica: Duerme durante 8 segundos entre carreras (solo afecta al tiempo promedio, no al récord) Nota: Los autores informaron un tiempo de 2,02 segundos. Mi reproducción (linterna 2.7.0; hardware que se ve a continuación) tuvo un tiempo mínimo de 1.99s. Código: 3/3