Ennakoiva reititys LLM:ille Ehdottaa Lookahead-reitityskehystä, joka mahdollistaa tietoisemman reitityksen ilman täydellistä päättelyä. Saavuttaa keskimäärin 7,7 %:n suorituskyvyn parannuksen huippuluokkaan verrattuna. Tässä on miksi se toimii: Lookahead on uusi kehys reititykseen usean LLM-järjestelmissä, joka päättää, minkä mallin tulisi käsitellä kutakin kyselyä. Keskeinen idea: Sen sijaan, että reititys perustuisi vain syötekyselyyn, Lookahead ennustaa mahdollisten vastausten piileviä esityksiä ja antaa sille "kurkistuksen" siihen, mitä kukin malli sanoisi luomatta tekstiä kokonaan. Älykkäämmät päätökset: Tämä vastaustietoinen ennuste tekee reitityksestä kontekstisidonnaisempaa ja tarkempaa erityisesti avoimissa tai mieltymyksiin perustuvissa tehtävissä. Tehokas oppiminen: Se on erittäin datatehokas, sillä se saavuttaa täyden suorituskyvyn vain 16 %:lla koulutustiedoista lähtötasoihin verrattuna ja oppii parempia semanttisia esityksiä reititystä varten. Kaksoissuunnittelu: Toimii sekä kausaalisten että naamioitujen LM-versioiden kanssa ja yleistää useisiin arkkitehtuureihin. Suorituskyky: Päihittää huippuluokan reititysmenetelmät seitsemässä vertailuarvossa, ja suurimmat hyödyt ovat vivahteikkaissa, luovissa tehtävissä. Lookahead osoittaa, että kevyen generatiivisen ennakoinnin lisääminen voi tehdä usean mallin järjestelmistä mukautuvampia ja kustannustehokkaampia ilman täydellistä mallin päättelyä.