SGLang от @lmsysorg — это проект с открытым исходным кодом, сосредоточенный на ускорении и повышении эффективности вывода больших языковых моделей, с постоянными улучшениями, которые быстро приводят к реальным ускорениям. За этими усилиями стоят преданные инженеры, которые обеспечивают эволюцию кода в соответствии с потребностями как исследователей, так и разработчиков. В этом вопрос-ответе Тревор Моррис, старший инженер по программному обеспечению глубокого обучения в NVIDIA и коммиттер SGLang, обсуждает свою роль коммиттера SGLang в NVIDIA, недавние оптимизации производительности и то, как эти вклады помогают укрепить экосистему с открытым исходным кодом вокруг LLM. ➡️