Novo recorde de velocidade de treinamento CIFAR-10: 94% em 1,99 segundos em um A100 Recorde anterior: 2,59 segundos (10 de novembro de 2024) Novo recordista: Motor de descoberta algorítmica desenvolvido pela @hivergeai Registro de alterações: - Múon: Vetorizar NS iter e reduzir a frequência da etapa de 'normalização de pesos' 1/3

- Aumento de dados: Adicionar jitter de cor e vetorizar corte aleatório - Compilação: Compilar xent fwd/bwd - Arquitetura: Substitua GELU por SiLU, use SVD para inicialização da primeira camada e use channels_last formato com fp16 para todas as convs - Hparams: ajustes, incluindo bsz 2000 -> 1536 e épocas 8 -> 7.6 2/3

- TTA: Pule para exemplos fáceis - Limitação térmica: Durma por 8s entre as execuções (afeta apenas o tempo médio, não o tempo recorde) Nota: Os autores relataram um tempo de 2,02 segundos. Minha reprodução (tocha 2.7.0; hardware visto abaixo) teve um tempo mínimo de 1.99s. Código: 3/3