Маршрутизація наперед для LLM Пропонує Lookahead, фреймворк маршрутизації для забезпечення більш обґрунтованої маршрутизації без повного висновку. Досягає середнього приросту продуктивності на 7,7% порівняно з сучасними показниками. Ось чому це працює: Lookahead — це нова структура для маршрутизації в системах з декількома LLM, яка вирішує, яка модель повинна обробляти кожен запит. Ключова ідея: замість того, щоб прокладати маршрутизацію лише на основі вхідного запиту, Lookahead передбачає латентні представлення потенційних відповідей, даючи можливість «зазирнути» в те, що скаже кожна модель без повної генерації тексту. Розумніші рішення: це передбачення з урахуванням реакції робить маршрутизацію більш контекстно-залежною та точною, особливо для відкритих завдань або завдань, орієнтованих на переваги. Ефективне навчання: Воно дуже ефективно використовує дані, досягає повної продуктивності лише з 16% навчальних даних порівняно з базовими лініями, і вивчає кращі семантичні представлення для маршрутизації. Подвійний дизайн: працює як з причинними, так і з маскованими варіантами LM, узагальнюючи на кілька архітектур. Продуктивність: Перевершує найсучасніші методи маршрутизації за сімома тестами, з найбільшим виграшем у тонких, творчих завданнях. Lookahead показує, що додавання легкого генеративного передбачення може зробити багатомодельні системи більш адаптивними та економічно ефективними, не потребуючи повного висновування моделі.