.@vllm_project 已迅速成為高效大型語言模型推理的首選開源引擎，平衡性能與強大的開發者體驗。在 NVIDIA，對 vLLM 等項目的直接貢獻反映了推進開源 AI 基礎設施的承諾，讓每個人都能受益。 在這次問答中，NVIDIA 的高級系統軟體工程師及 vLLM 的委員 Benjamin Chislett 分享了他對塑造項目未來的看法，他在推測解碼方面的工作，以及為什麼開源合作對於大規模 AI 來說至關重要。 🔗