Résultats du Modèle de Récursion Minuscule (TRM) sur ARC-AGI - ARC-AGI-1 : 40 %, 1,76 $/tâche - ARC-AGI-2 : 6,2 %, 2,10 $/tâche Merci à @jm_alexia pour avoir contribué au TRM, une recherche bien écrite, open source et approfondie pour la communauté basée sur le HRM de @makingAGI

Merci à @k_schuerholt d'avoir reproduit ces résultats pour le prix ARC, qui étaient basés sur son analyse HRM précédente. Nos points de contrôle de modèle reproduits et les instructions de reproduction sont disponibles sur @huggingface

Nos notes : - TRM a un temps d'exécution plus long que HRM même s'il est plus petit. Notre hypothèse est que cela est dû à la rétropropagation qui se produit à chaque étape, tandis que HRM ne faisait que des étapes partielles. Question ouverte : TRM est-il meilleur parce qu'il est plus intelligent ? ou parce qu'il s'entraîne plus longtemps ? Si vous utilisiez un calcul fixe pour les deux, la performance serait-elle la même ?

- Est-ce que TRM est tout aussi robuste au nombre d'augmentations que ne l'était HRM ? - Passer des couches linéaires à l'attention est intéressant, l'attention a moins bien performé sur une tâche plus petite. Pourquoi ? Cela pourrait être moins efficace sur le plan computationnel, mais pourquoi est-ce que c'est si mauvais sur Maze ?

Notre appel à la communauté : Séparer le pré-entraînement et l'inférence dans le TRM Actuellement, le pré-entraînement et l'inférence sont couplés dans le TRM. Des lots supplémentaires de tâches doivent être pré-entraînés à nouveau. Ce TRM augmenté serait probablement capable de fonctionner sur Kaggle pour le prix ARC 2025

Coûts de reproduction : * ARC-AGI-1 Public : 9h 52m 6 * 2x8H100 * 8 $/heure = 157,86 $ * ARC-AGI-1 Semi-privé : 11h 23m * 2x8H100 * 8 $/heure = 176,38 $ * ARC-AGI-1 Public : 9h 35m * 3x8H100 * 8 $/heure = 216,58 $ * ARC-AGI-2 Semi-privé : 10h 30m * 3x8H100 * 8 $/heure = 252 $