.@vllm_project tornou-se rapidamente um motor de código aberto de referência para inferência eficiente de modelos de linguagem de grande escala, equilibrando desempenho com uma forte experiência para desenvolvedores. Na NVIDIA, as contribuições diretas para projetos como o vLLM refletem um compromisso com o avanço da infraestrutura de IA de código aberto para todos. Nesta sessão de perguntas e respostas, Benjamin Chislett, Engenheiro de Software de Sistemas Sênior na NVIDIA e Membro do projeto vLLM, compartilha sua perspectiva sobre a formação do futuro do projeto, seu trabalho em decodificação especulativa e por que a colaboração em código aberto é importante para a IA em grande escala. 🔗