Routing Lookahead per LLM Propone Lookahead, un framework di routing per abilitare un routing più informato senza inferenza completa. Raggiunge un guadagno medio di prestazioni del 7,7% rispetto allo stato dell'arte. Ecco perché funziona: Lookahead è un nuovo framework per il routing nei sistemi multi-LLM, che decide quale modello dovrebbe gestire ogni query. Idea chiave: invece di instradare solo in base alla query di input, Lookahead prevede rappresentazioni latenti delle potenziali risposte, offrendogli un “sguardo” su cosa direbbe ogni modello senza generare completamente il testo. Decisioni più intelligenti: questa previsione consapevole della risposta rende il routing più sensibile al contesto e accurato, specialmente per compiti aperti o guidati dalle preferenze. Apprendimento efficiente: è altamente efficiente in termini di dati, raggiungendo prestazioni complete con solo il 16% dei dati di addestramento rispetto ai baselines, e apprende migliori rappresentazioni semantiche per il routing. Design duale: funziona con entrambe le varianti di LM causali e mascherati, generalizzando attraverso più architetture. Prestazioni: supera i metodi di routing all'avanguardia in sette benchmark, con i guadagni più significativi in compiti sfumati e creativi. Lookahead dimostra che aggiungere una leggera previsione generativa può rendere i sistemi multi-modello più adattivi ed efficienti in termini di costi senza necessitare di un'inferenza completa del modello.