.@vllm_project se ha convertido rápidamente en un motor de código abierto para la inferencia eficiente de modelos de lenguaje grande, equilibrando el rendimiento con una sólida experiencia de desarrollador. En NVIDIA, las contribuciones directas a proyectos como vLLM reflejan un compromiso con el avance de la infraestructura de IA de código abierto para todos. En esta sesión de preguntas y respuestas, Benjamin Chislett, ingeniero sénior de software de sistemas de NVIDIA y confirmador de vLLM, comparte su perspectiva sobre cómo dar forma al futuro del proyecto, su trabajo sobre la decodificación especulativa y por qué la colaboración de código abierto es importante para la IA a escala. 🔗