Poznaj Agenta Bake-Off: testy porównawcze w ciemno dla agentów kodujących, takich jak Claude Code, @cursor_ai, @AmpCode, @FactoryAI, Codex i inni. Budujemy największe rzeczywiste benchmarki dla agentów kodujących i z radością dzielimy się wczesnym podglądem naszych narzędzi dla otwartej społeczności.

Dane dotyczące rzeczywistego wykorzystania agentów oraz ich pozyskiwania staną się coraz ważniejsze, gdy agenci wejdą do mainstreamu. Chcemy, aby każdy mógł przeprowadzać uczciwe porównania, przyczyniać się do publicznych rankingów i osadzić ekosystem w rzeczywistych preferencjach. Wypróbuj to tutaj:

To teraz super proste: - wybierz publiczne repozytorium z ustawieniami wstępnymi - wprowadź zadanie - uruchamiamy je na dwóch anonimowych agentach w tym samym kontekście Niektóre zadania mogą zająć trochę czasu, więc możesz opcjonalnie podać swój adres e-mail, aby otrzymać powiadomienie, gdy wyniki będą gotowe.

Kiedy to się kończy, otrzymujesz: - wyniki obok siebie i różnice - metadane, takie jak notatki z rozumowaniem, użyte narzędzia i czas spędzony - ślepą ankietę, aby wybrać lepszy wynik Twoje głosy i uruchomienia zasilają publiczne tablice liderów społeczności.

To wciąż bardzo wczesna wersja i cieszymy się, że możemy zobaczyć, co jest przydatne dla ludzi. Niektóre obszary, które badamy, to: jak wygląda lepszy interfejs użytkownika/UX do przeglądania zrównoleglonej pracy agentów, jakie metadane i zadania są wartościowe itd. *Zwłaszcza* w przypadku zastosowań w rzeczywistym świecie.

Będziemy również na bieżąco aktualizować Agent Bake-Off, aby dodać więcej agentów z pogranicza, inne podzbiory agentów (agentów przeglądających PR, agentów bezpieczeństwa/ograniczeń itp.), sprawdzając, czy ludzie chcą mieć możliwość wprowadzania własnych repozytoriów publicznych/prywatnych itp.

Pracujemy ciężko, aby stworzyć największe benchmarki i rankingi w rzeczywistym świecie dla agentów. Agent Bake-Off to mały pierwszy krok. Proszę spróbuj, zagłosuj i daj nam znać, co uważasz za przydatne!!!