Wyniki modelu małej rekurencji (TRM) na ARC-AGI - ARC-AGI-1: 40%, $1.76/zadanie - ARC-AGI-2: 6.2%, $2.10/zadanie Dziękujemy @jm_alexia za wniesienie TRM, dobrze napisanego, otwartego źródła i dokładnych badań dla społeczności opartych na HRM od @makingAGI

Dziękujemy @k_schuerholt za odtworzenie tych wyników dla nagrody ARC, które opierały się na jego wcześniejszej analizie HRM Nasze odtworzone punkty kontrolne modelu i instrukcje reprodukcji są dostępne na @huggingface

Nasze uwagi: - TRM ma wyższy czas działania niż HRM, mimo że jest mniejszy. Nasza hipoteza jest taka, że wynika to z propagacji wstecznej zachodzącej na wszystkich krokach, podczas gdy HRM wykonywał tylko częściowe kroki. Otwarte pytanie: Czy TRM jest lepszy, ponieważ jest mądrzejszy? czy dlatego, że trenuje dłużej? Gdybyś użył stałej mocy obliczeniowej dla obu, czy wydajność byłaby taka sama?

- Czy TRM jest równie odporny na liczbę augmentacji, jak HRM? - Przejście z warstw liniowych na uwagę jest interesujące, uwaga wypadła gorzej w mniejszym zadaniu. Dlaczego? Może być mniej wydajne obliczeniowo, ale dlaczego jest tak dużo gorsze w Maze?

Nasze wezwanie do społeczności: Podzielić wstępne szkolenie i wnioskowanie w TRM Obecnie wstępne szkolenie i wnioskowanie są ze sobą połączone w TRM. Dodatkowe partie zadań muszą być ponownie wstępnie szkolone. Ten rozszerzony TRM prawdopodobnie będzie mógł działać na Kaggle w ramach nagrody ARC 2025

Koszty reprodukcji: * ARC-AGI-1 Public: 9h 52m 6 * 2x8H100 * $8/godzinę = $157.86 * ARC-AGI-1 Semi-private: 11h 23m * 2x8H100 * $8/godzinę = $176.38 * ARC-AGI-1 Public: 9h 35m * 3x8H100 * $8/godzinę = $216.58 * ARC-AGI-2 Semi-private: 10h 30m * 3x8H100 * $8/godzinę = $252