Hasil Model Rekursi Kecil (TRM) pada ARC-AGI - ARC-AGI-1: 40%, $1.76/tugas - ARC-AGI-2: 6,2%, $2,10/tugas Terima kasih kepada @jm_alexia telah menyumbangkan TRM, penelitian yang ditulis dengan baik, open source, dan menyeluruh kepada masyarakat berdasarkan HRM dari @makingAGI

Terima kasih kepada @k_schuerholt telah mereproduksi hasil ini untuk Hadiah ARC, yang didasarkan pada analisis HRM sebelumnya Pos pemeriksaan model dan instruksi reproduksi kami yang direproduksi tersedia di @huggingface

Catatan kami: - TRM memiliki runtime yang lebih tinggi daripada HRM meskipun lebih kecil. Hipotesis kami adalah ini karena perambatan kembali terjadi di semua langkah, sedangkan HRM hanya melakukan langkah parsial Pertanyaan terbuka: Apakah TRM lebih baik karena lebih pintar? Atau karena berlatih lebih lama? Jika Anda menggunakan komputasi tetap untuk keduanya, apakah performa akan sama?

- Apakah TRM sama kuatnya dengan jumlah augmentasi seperti HRM? - Beralih dari lapisan linier ke perhatian itu menarik, perhatian berkinerja lebih buruk pada tugas yang lebih kecil. Mengapa? Ini mungkin kurang efisien secara komputasi, tetapi mengapa jauh lebih buruk di Maze?

Seruan kami untuk komunitas: Pisahkan Pra-pelatihan dan inferensi dalam TRM Saat ini pra-pelatihan dan inferensi digabungkan dalam TRM. Batch tugas tambahan perlu dilatih sebelumnya lagi. TRM yang ditambah ini kemungkinan akan dapat berjalan di Kaggle untuk Hadiah ARC 2025

Biaya untuk mereproduksi: * ARC-AGI-1 Umum: 9h 52m 6 * 2x8H100 * $8/jam = $157.86 * ARC-AGI-1 Semi-pribadi: 11 jam 23 menit * 2x8H100 * $ 8 / jam = $ 176,38 * ARC-AGI-1 Publik: 9 jam 35 menit * 3x8H100 * $ 8 / jam = $ 216,58 * ARC-AGI-2 Semi-pribadi: 10h 30m * 3x8H100 * $8/jam = $252