نتائج نموذج العودية الصغيرة (TRM) على ARC-AGI - ARC-AGI-1: 40٪ ، 1.76 دولار / مهمة - ARC-AGI-2: 6.2٪ ، 2.10 دولار / مهمة شكرا ل @jm_alexia على المساهمة في TRM ، وهو بحث مكتوب جيدا ومفتوح المصدر وشامل للمجتمع بناء على إدارة الموارد البشرية من @makingAGI

شكرا ل @k_schuerholt على إعادة إنتاج هذه النتائج لجائزة ARC ، والتي استندت إلى تحليله السابق لإدارة الموارد البشرية تتوفر نقاط التفتيش النموذجية المستنسخة وتعليمات الاستنساخ على @huggingface

ملاحظاتنا: - يتمتع TRM بوقت تشغيل أعلى من إدارة الموارد البشرية على الرغم من أنه أصغر. فرضيتنا هي أن هذا بسبب حدوث الانتشار الخلفي عبر جميع الخطوات ، في حين أن إدارة الموارد البشرية لم تقم إلا بخطوات جزئية سؤال مفتوح: هل TRM أفضل لأنه أكثر ذكاء؟ أو لأنه يتدرب لفترة أطول؟ إذا استخدمت الحوسبة الثابتة لكليهما ، فهل سيكون الأداء هو نفسه؟

- هل TRM قوي بالمثل لعدد التعزيزات كما كان HRM؟ - يعد التحول من الطبقات الخطية إلى الانتباه أمرا مثيرا للاهتمام ، حيث كان أداء الانتباه أسوأ في مهمة أصغر. لماذا؟ قد يكون أقل كفاءة من الناحية الحسابية ، ولكن لماذا يكون الأمر أسوأ بكثير في المتاهة؟

دعوتنا للمجتمع: Split pre-training والاستدلال في TRM حاليا يقترن التدريب المسبق والاستدلال في TRM. يجب تدريب دفعات إضافية من المهام مسبقا مرة أخرى. من المحتمل أن يكون TRM المعزز قادرا على العمل على Kaggle للحصول على جائزة ARC 2025

تكاليف التكاثر: * ARC-AGI-1 عام: 9 ساعات و 52 دقيقة 6 * 2 × 8 ساعات 100 * 8 دولارات في الساعة = 157.86 دولارا * ARC-AGI-1 شبه خاص: 11 ساعة و 23 م * 2 × 8 ساعات 100 * 8 دولارات / ساعة = 176.38 دولارا * ARC-AGI-1 عام: 9 ساعات و 35 م * 3 × 8 ساعات 100 * 8 دولارات في الساعة = 216.58 دولارا * ARC-AGI-2 شبه خاص: 10 ساعات و 30 م * 3 × 8 ساعات 100 * 8 دولارات / ساعة = 252 دولارا