SGLang by @lmsysorg este un proiect open source axat pe a face inferența modelelor lingvistice mari mai rapidă și mai eficientă, cu îmbunătățiri continue care se traduc rapid în accelerări din lumea reală. În spatele acestor eforturi se află ingineri dedicați care se asigură că codul evoluează pentru a satisface nevoile atât ale cercetătorilor, cât și ale dezvoltatorilor. În această sesiune de întrebări și răspunsuri, Trevor Morris, Senior Deep Learning Software Engineer la NVIDIA și committer pentru SGLang, discută despre rolul său de committer SGLang la NVIDIA, optimizările recente ale performanței și modul în care aceste contribuții ajută la consolidarea ecosistemului open source în jurul LLM-urilor. ➡️