SGLang by @lmsysorg es un proyecto de código abierto centrado en hacer que la inferencia de modelos de lenguaje grandes sea más rápida y eficiente, con mejoras continuas que se traducen rápidamente en aceleraciones en el mundo real. Detrás de estos esfuerzos hay ingenieros dedicados que garantizan que el código evolucione para satisfacer las necesidades tanto de los investigadores como de los desarrolladores. En esta sesión de preguntas y respuestas, Trevor Morris, ingeniero sénior de software de aprendizaje profundo de NVIDIA y committer de SGLang, analiza su papel como committer de SGLang en NVIDIA, las optimizaciones de rendimiento recientes y cómo estas contribuciones están ayudando a fortalecer el ecosistema de código abierto en torno a los LLM. ➡️