前瞻路由用于大型语言模型（LLMs） 提出了前瞻路由框架，以便在不进行完全推理的情况下实现更明智的路由。 在最先进的技术上实现了平均7.7%的性能提升。 以下是其工作原理： 前瞻是一个用于多LLM系统的路由新框架，决定哪个模型应该处理每个查询。 关键思想：前瞻不仅仅基于输入查询进行路由，而是预测潜在响应的潜在表示，使其能够“窥视”每个模型在不完全生成文本的情况下会说什么。 更聪明的决策：这种响应感知的预测使路由更加上下文敏感和准确，特别是在开放式或偏好驱动的任务中。 高效学习：它的数据效率极高，仅用16%的训练数据就能达到完全性能，相比基线学习更好的语义表示以进行路由。 双重设计：与因果和掩蔽语言模型变体兼容，能够跨多个架构进行泛化。 性能：在七个基准测试中超越最先进的路由方法，在细致和创造性任务中获得最大收益。 前瞻表明，增加轻量级生成前瞻可以使多模型系统在不需要完全模型推理的情况下更加适应和成本高效。