Resultados del Modelo de Recursión Pequeña (TRM) en ARC-AGI - ARC-AGI-1: 40%, $1.76/tarea - ARC-AGI-2: 6.2%, $2.10/tarea Gracias a @jm_alexia por contribuir con TRM, una investigación bien escrita, de código abierto y exhaustiva para la comunidad basada en el HRM de @makingAGI

Gracias a @k_schuerholt por reproducir estos resultados para el ARC Prize, que se basaron en su análisis previo de HRM Nuestros puntos de control del modelo reproducido e instrucciones de reproducción están disponibles en @huggingface

Nuestras notas: - TRM tiene un tiempo de ejecución más alto que HRM a pesar de ser más pequeño. Nuestra hipótesis es que esto se debe a la retropropagación que ocurre en todos los pasos, mientras que HRM solo realizaba pasos parciales. Pregunta abierta: ¿Es TRM mejor porque es más inteligente? ¿O porque entrena durante más tiempo? Si utilizaras un cómputo fijo para ambos, ¿sería el rendimiento el mismo?

- ¿Es TRM igualmente robusto al número de aumentos como lo fue HRM? - Cambiar de capas lineales a atención es interesante, la atención tuvo un rendimiento peor en una tarea más pequeña. ¿Por qué? Podría ser computacionalmente menos eficiente, pero ¿por qué es tan malo en Maze?

Nuestra llamada a la comunidad: Separar el preentrenamiento y la inferencia en TRM Actualmente, el preentrenamiento y la inferencia están acoplados en TRM. Se necesitan preentrenar nuevamente lotes adicionales de tareas. Este TRM aumentado probablemente podría ejecutarse en Kaggle para el Premio ARC 2025

Costos de reproducción: * ARC-AGI-1 Público: 9h 52m 6 * 2x8H100 * $8/hora = $157.86 * ARC-AGI-1 Semi-privado: 11h 23m * 2x8H100 * $8/hora = $176.38 * ARC-AGI-1 Público: 9h 35m * 3x8H100 * $8/hora = $216.58 * ARC-AGI-2 Semi-privado: 10h 30m * 3x8H100 * $8/hora = $252