Temui Agent Bake-Off: tes buta berdampingan untuk agen pengkodean seperti Claude Code, @cursor_ai, @AmpCode, @FactoryAI, Codex, dan banyak lagi. Kami telah membangun tolok ukur dunia nyata terbesar untuk agen pengkodean, dan kami sangat senang membagikan pratinjau awal alat komunitas terbuka kami.

Data penggunaan dunia nyata tentang bagaimana agen digunakan & pengadaan akan menjadi lebih penting karena agen menjadi arus utama. Kami ingin siapa pun dapat menjalankan perbandingan yang adil, berkontribusi pada papan peringkat publik, & membumikan ekosistem dalam preferensi nyata. Coba di sini:

Ini sangat sederhana saat ini: - Pilih repositori publik yang telah ditetapkan sebelumnya - Masukkan tugas - kami menjalankannya pada dua agen anonim dengan konteks yang sama Beberapa tugas dapat memakan waktu sehingga Anda dapat mengirimkan email secara opsional untuk mendapatkan ping saat hasilnya siap.

Ketika selesai, Anda mendapatkan: - output dan perbedaan berdampingan - metadata seperti catatan penalaran, alat yang digunakan, dan waktu yang dihabiskan - pemungutan suara buta untuk memilih hasil yang lebih baik Suara dan lari Anda memberi makan papan peringkat komunitas publik.

Ini masih versi yang sangat awal, dan kami sangat senang melihat apa yang berguna bagi orang-orang. Beberapa area yang kami jelajahi adalah: seperti apa UI/UX yang lebih baik untuk meninjau pekerjaan agen paralel, metadata dan tugas apa yang berharga, dll. *Terutama* untuk penggunaan dunia nyata

Kami juga akan terus memperbarui Agen Bake-Off untuk menambahkan lebih banyak agen perbatasan, subset agen lainnya (agen peninjau PR, agen keamanan/pagar pembatas, dll.), Melihat apakah orang menginginkan kemampuan untuk membawa repositori publik/pribadi mereka sendiri, dll.

Kami bekerja keras untuk membangun tolok ukur dan papan peringkat dunia nyata terbesar untuk agen. Agen Bake-Off adalah langkah pertama yang kecil. Silakan coba, pilih, dan beri kami umpan balik tentang apa yang menurut Anda berguna!!