Lookahead Routing för LLM:er Föreslår Lookahead, ett ramverk för routning som möjliggör mer informerad routning utan fullständig slutsatsdragning. Uppnår en genomsnittlig prestandavinst på 7,7 % jämfört med den senaste tekniken. Här är varför det fungerar: Lookahead är ett nytt ramverk för routing i multi-LLM-system, som bestämmer vilken modell som ska hantera varje fråga. Huvudidé: I stället för att dirigera baserat enbart på indatafrågan förutsäger Lookahead latenta representationer av potentiella svar, vilket ger den en "titt" på vad varje modell skulle säga utan att helt generera text. Smartare beslut: Den här svarsmedvetna förutsägelsen gör routningen mer sammanhangskänslig och exakt, särskilt för öppna eller preferensdrivna uppgifter. Effektiv inlärning: Den är mycket dataeffektiv och når full prestanda med endast 16 % av träningsdata jämfört med baslinjer och lär sig bättre semantiska representationer för routning. Dubbel design: Fungerar med både kausala och maskerade LM-varianter och generaliserar över flera arkitekturer. Prestanda: Överträffar de senaste routingmetoderna i sju prestandatester, med de största vinsterna när det gäller nyanserade, kreativa uppgifter. Lookahead visar att man genom att lägga till lätt generativ framsyn kan göra system med flera modeller mer anpassningsbara och kostnadseffektiva utan att behöva fullständig modellinferens.