Rutare anticipată pentru LLM-uri Propune Lookahead, un cadru de rutare pentru a permite rutarea mai informată fără deducții complete. Realizează o creștere medie a performanței de 7,7% față de cele de ultimă generație. Iată de ce funcționează: Lookahead este un nou cadru pentru rutarea în sisteme multi-LLM, care decide ce model ar trebui să gestioneze fiecare interogare. Idee cheie: În loc să ruteze doar pe baza interogării de intrare, Lookahead prezice reprezentări latente ale răspunsurilor potențiale, oferindu-i o "privire" asupra a ceea ce ar spune fiecare model fără a genera complet text. Decizii mai inteligente: Această predicție în funcție de răspuns face rutarea mai sensibilă la context și mai precisă, în special pentru sarcinile deschise sau bazate pe preferințe. Învățare eficientă: este foarte eficientă din punct de vedere al datelor, atingând performanțe complete cu doar 16% din datele de antrenament în comparație cu liniile de referință și învață reprezentări semantice mai bune pentru rutare. Design dual: Funcționează atât cu variante LM cauzale, cât și cu variante LM mascate, generalizând pe mai multe arhitecturi. Performanță: Depășește metodele de rutare de ultimă generație în șapte benchmark-uri, cu cele mai mari câștiguri în sarcini nuanțate și creative. Lookahead arată că adăugarea unei previziuni generative ușoare poate face sistemele multi-model mai adaptabile și mai eficiente din punct de vedere al costurilor, fără a fi nevoie de inferența completă a modelului.