Ergebnisse des Tiny Recursion Model (TRM) auf ARC-AGI - ARC-AGI-1: 40%, $1.76/Aufgabe - ARC-AGI-2: 6.2%, $2.10/Aufgabe Danke an @jm_alexia für die Bereitstellung von TRM, einer gut geschriebenen, Open-Source- und umfassenden Forschung für die Community, basierend auf dem HRM von @makingAGI

Danke an @k_schuerholt für die Reproduktion dieser Ergebnisse für den ARC Prize, die auf seiner vorherigen HRM-Analyse basierten. Unsere reproduzierten Modell-Checkpoints und Reproduktionsanweisungen sind auf @huggingface verfügbar.

Unsere Anmerkungen: - TRM hat eine höhere Laufzeit als HRM, obwohl es kleiner ist. Unsere Hypothese ist, dass dies auf die Rückpropagation zurückzuführen ist, die über alle Schritte hinweg erfolgt, während HRM nur teilweise Schritte durchgeführt hat. Offene Frage: Ist TRM besser, weil es intelligenter ist? Oder weil es länger trainiert? Wenn Sie für beide eine feste Berechnung verwenden würden, wäre die Leistung dann gleich?

- Ist TRM ähnlich robust gegenüber der Anzahl der Augmentierungen wie HRM? - Der Wechsel von linearen Schichten zu Attention ist interessant, Attention hat bei einer kleineren Aufgabe schlechter abgeschnitten. Warum? Es könnte rechnerisch weniger effizient sein, aber warum ist es auf Maze so viel schlechter?

Unser Aufruf an die Community: Pre-Training und Inferenz im TRM trennen Derzeit sind Pre-Training und Inferenz im TRM gekoppelt. Zusätzliche Aufgaben müssen erneut vortrainiert werden. Dieses erweiterte TRM könnte wahrscheinlich auf Kaggle für den ARC Prize 2025 laufen.

Kosten für die Reproduktion: * ARC-AGI-1 Öffentlich: 9h 52m 6 * 2x8H100 * $8/Stunde = $157.86 * ARC-AGI-1 Semi-privat: 11h 23m * 2x8H100 * $8/Stunde = $176.38 * ARC-AGI-1 Öffentlich: 9h 35m * 3x8H100 * $8/Stunde = $216.58 * ARC-AGI-2 Semi-privat: 10h 30m * 3x8H100 * $8/Stunde = $252