前瞻路由（Lookahead Routing）用於大型語言模型（LLMs） 提出了前瞻（Lookahead），一種路由框架，旨在實現更明智的路由，而無需完全推理。 在最先進技術上實現了平均7.7%的性能提升。 這就是它有效的原因： 前瞻是一種新的多LLM系統路由框架，決定哪個模型應該處理每個查詢。 關鍵思想：前瞻不僅根據輸入查詢進行路由，而是預測潛在的回應表示，讓它能“窺視”每個模型會說什麼，而無需完全生成文本。 更智能的決策：這種對回應的預測使得路由更加上下文敏感和準確，特別是對於開放式或偏好驅動的任務。 高效學習：它的數據效率極高，僅用16%的訓練數據就能達到完整性能，並學習到更好的語義表示以進行路由。 雙重設計：可與因果和掩蔽的LM變體一起使用，能夠在多種架構中進行泛化。 性能：在七個基準測試中超越最先進的路由方法，在細緻和創意任務中獲得最大的提升。 前瞻顯示，添加輕量級的生成前瞻可以使多模型系統更加適應和成本高效，而無需完全模型推理。