SGLang par @lmsysorg est un projet open source axé sur l'accélération et l'optimisation de l'inférence des grands modèles de langage, avec des améliorations continues qui se traduisent rapidement par des gains de vitesse dans le monde réel. Derrière ces efforts se trouvent des ingénieurs dévoués qui veillent à ce que le code évolue pour répondre aux besoins des chercheurs et des développeurs. Dans cette session de questions-réponses, Trevor Morris, ingénieur logiciel senior en apprentissage profond chez NVIDIA et contributeur pour SGLang, discute de son rôle en tant que contributeur SGLang chez NVIDIA, des récentes optimisations de performance et de la manière dont ces contributions aident à renforcer l'écosystème open source autour des LLMs. ➡️