.@vllm_project har snabbt blivit en populär motor med öppen källkod för effektiv inferens av stora språkmodeller, som balanserar prestanda med en stark utvecklarupplevelse. På NVIDIA återspeglar direkta bidrag till projekt som vLLM ett engagemang för att främja AI-infrastruktur med öppen källkod för alla. I denna Q&A delar Benjamin Chislett, Senior Systems Software Engineer på NVIDIA och Committer för vLLM, med sig av sitt perspektiv på att forma projektets framtid, sitt arbete med spekulativ avkodning och varför samarbete med öppen källkod är viktigt för AI i stor skala. 🔗