.@vllm_project быстро стал основным открытым источником для эффективного вывода больших языковых моделей, балансируя производительность с отличным опытом разработчиков. В NVIDIA прямые вклады в проекты, такие как vLLM, отражают приверженность развитию открытой инфраструктуры ИИ для всех. В этом вопрос-ответе Бенджамин Числетт, старший инженер по системному программному обеспечению в NVIDIA и коммиттер vLLM, делится своим мнением о формировании будущего проекта, своей работе над спекулятивным декодированием и о том, почему сотрудничество с открытым исходным кодом имеет значение для ИИ в масштабе. 🔗