.@vllm_project швидко став популярним рушієм з відкритим вихідним кодом для ефективного висновування великих мовних моделей, поєднуючи продуктивність із сильним досвідом розробника. У NVIDIA прямі внески в такі проекти, як vLLM, відображають прагнення до просування інфраструктури штучного інтелекту з відкритим вихідним кодом для всіх. У цих запитаннях і відповідях Бенджамін Чіслетт, старший інженер-програміст NVIDIA та коміттер vLLM, ділиться своїм поглядом на формування майбутнього проєкту, своєю роботою над спекулятивним декодуванням і тим, чому співпраця з відкритим вихідним кодом важлива для масштабного штучного інтелекту. 🔗