SGLang da @lmsysorg é um projeto de código aberto focado em tornar a inferência de grandes modelos de linguagem mais rápida e eficiente, com melhorias contínuas que se traduzem rapidamente em aumentos de velocidade no mundo real. Por trás desses esforços estão engenheiros dedicados que garantem que o código evolua para atender às necessidades de pesquisadores e desenvolvedores. Nesta sessão de perguntas e respostas, Trevor Morris, Engenheiro de Software Sênior em Deep Learning na NVIDIA e colaborador do SGLang, discute seu papel como colaborador do SGLang na NVIDIA, otimizações de desempenho recentes e como essas contribuições estão ajudando a fortalecer o ecossistema de código aberto em torno dos LLMs. ➡️