.@vllm_project har raskt blitt en åpen kildekode-motor for effektiv inferens av store språkmodeller, og balanserer ytelse med en sterk utvikleropplevelse. Hos NVIDIA gjenspeiler direkte bidrag til prosjekter som vLLM en forpliktelse til å fremme åpen kildekode-infrastruktur for kunstig intelligens for alle. I denne Q&A-en deler Benjamin Chislett, Senior Systems Software Engineer hos NVIDIA og Committer for vLLM, sitt perspektiv på å forme prosjektets fremtid, sitt arbeid med spekulativ dekoding og hvorfor åpen kildekode-samarbeid er viktig for AI i stor skala. 🔗