Novo recorde de velocidade de treino CIFAR-10: 94% em 1,99 segundos em uma A100 Recorde anterior: 2,59 segundos (10 de novembro de 2024) Novo detentor do recorde: motor de descoberta algorítmica desenvolvido pela @hivergeai Registro de alterações: - Muon: Vetorizar NS iter e reduzir a frequência do passo 'normalizar pesos' 1/3
- Dados de agosto: Adicionar variação de cor e vetorizar recorte aleatório - Compilação: Compilar xent fwd/bwd - Arquitetura: Substituir GELU por SiLU, usar SVD para inicialização da primeira camada e usar o formato channels_last com fp16 para todas as convoluções - Hparams: ajustes incluindo bsz 2000 -> 1536 e épocas 8 -> 7.6 2/3
- TTA: Pular para exemplos fáceis - Thermal throttling: Dormir por 8s entre execuções (afeta apenas a média, não o tempo recorde) Nota: Os autores relataram um tempo de 2.02 segundos. Minha reprodução (torch 2.7.0; hardware visto abaixo) teve um tempo mínimo de 1.99s. Código: 3/3
81,82K