سجل سرعة تدريب CIFAR-10 الجديد: 94٪ في 1.99 ثانية على طائرة A100 واحدة الرقم القياسي السابق: 2.59 ثانية (10 نوفمبر 2024) حامل الرقم القياسي الجديد: محرك الاكتشاف الخوارزمي الذي طورته @hivergeai سجل التغيير: - Muon: توجيه NS iter وتقليل تكرار خطوة "تطبيع الأوزان" 1/3

- Data aug: إضافة ارتعاش اللون وتوجيه الاقتصاص العشوائي - تجميع: تجميع xent fwd / bwd - الهندسة المعمارية: استبدل GELU ب SiLU ، واستخدم SVD لبدء الطبقة الأولى ، واستخدم تنسيق channels_last مع fp16 لجميع convs - Hparams: تعديلات بما في ذلك bsz 2000 -> 1536 و Feochs 8 -> 7.6 2/3

- TTA: تخطي للحصول على أمثلة سهلة - الاختناق الحراري: النوم لمدة 8 ثوان بين الجري (يؤثر فقط على متوسط الوقت وليس على الوقت القياسي) ملاحظة: أبلغ المؤلفون عن وقت قدره 2.02 ثانية. كان النسخ الخاص بي (الشعلة 2.7.0 ؛ الأجهزة الموضحة أدناه) أقل من 1.99 ثانية. رمز: 3/3