Nuevo récord de velocidad de entrenamiento CIFAR-10: 94% en 1.99 segundos en una A100 Récord anterior: 2.59 segundos (10 de noviembre de 2024) Nuevo poseedor del récord: motor de descubrimiento algorítmico desarrollado por @hivergeai Registro de cambios: - Muon: Vectorizar NS iter y reducir la frecuencia del paso 'normalizar pesos' 1/3

- Datos de aumento: Añadir variación de color y vectorizar recorte aleatorio - Compilación: Compilar xent fwd/bwd - Arquitectura: Reemplazar GELU con SiLU, usar SVD para la inicialización de la primera capa y usar el formato channels_last con fp16 para todas las convoluciones - Hparams: ajustes incluyendo bsz 2000 -> 1536 y épocas 8 -> 7.6 2/3

- TTA: Saltar para ejemplos fáciles - Estrangulación térmica: Dormir durante 8s entre ejecuciones (solo afecta el promedio, no el tiempo récord) Nota: Los autores informaron un tiempo de 2.02 segundos. Mi reproducción (torch 2.7.0; hardware visto abajo) tuvo un tiempo mínimo de 1.99s. Código: 3/3