Новий рекорд тренувальної швидкості CIFAR-10: 94% за 1,99 секунди на одному A100 Попередній рекорд: 2,59 секунди (10 листопада 2024 року) Новий рекордсмен: алгоритмічний механізм виявлення, розроблений @hivergeai Список змін: - Мюон: векторизуйте NS iter та зменшуйте частоту кроку «нормалізація ваг» 1/3

- Дані в серпні: додайте тремтіння кольорів і векторизуйте випадкове обрізання - Компіляція: Компіляція xent fwd/bwd - Архітектура: замініть GELU на SiLU, використовуйте SVD для ініціалізації першого шару, а також використовуйте формат channels_last з fp16 для всіх convs - Hparams: доопрацювання включаючи bsz 2000 -> 1536 & epochs 8 -> 7.6 2/3

- TTA: Перейдіть до простих прикладів - Термічний тротлінг: сон протягом 8 секунд між пробіжками (впливає лише на середній, а не рекордний час) Примітка: Автори повідомили про час 2,02 секунди. Моє відтворення (ліхтар 2.7.0; апаратне забезпечення див. нижче) мало мінімальний час 1,99 с. Код: 3/3