.@vllm_project szybko stał się preferowanym otwartym silnikiem do efektywnego wnioskowania dużych modeli językowych, łącząc wydajność z doskonałym doświadczeniem dewelopera. W NVIDIA bezpośrednie wkłady w projekty takie jak vLLM odzwierciedlają zaangażowanie w rozwój otwartej infrastruktury AI dla wszystkich. W tym Q&A Benjamin Chislett, starszy inżynier oprogramowania systemowego w NVIDIA i komitet vLLM, dzieli się swoją perspektywą na kształtowanie przyszłości projektu, swoją pracą nad dekodowaniem spekulacyjnym oraz tym, dlaczego współpraca w otwartym kodzie ma znaczenie dla AI na dużą skalę. 🔗