.@vllm_project est rapidement devenu un moteur open source incontournable pour l'inférence efficace de modèles de langage de grande taille, équilibrant performance et expérience développeur solide. Chez NVIDIA, les contributions directes à des projets comme vLLM reflètent un engagement à faire progresser l'infrastructure AI open source pour tous. Dans cette Q&R, Benjamin Chislett, Ingénieur logiciel systèmes senior chez NVIDIA et contributeur pour vLLM, partage sa perspective sur la façon de façonner l'avenir du projet, son travail sur le décodage spéculatif, et pourquoi la collaboration open source est importante pour l'IA à grande échelle. 🔗