.@vllm_project è rapidamente diventato un motore open source di riferimento per l'inferenza efficiente di modelli di linguaggio di grandi dimensioni, bilanciando prestazioni con una forte esperienza per gli sviluppatori. In NVIDIA, i contributi diretti a progetti come vLLM riflettono un impegno per il progresso dell'infrastruttura AI open source per tutti. In questa Q&A, Benjamin Chislett, Senior Systems Software Engineer di NVIDIA e Committer per vLLM, condivide la sua prospettiva su come plasmare il futuro del progetto, il suo lavoro sul decoding speculativo e perché la collaborazione open source è importante per l'AI su larga scala. 🔗