SGLang bởi @lmsysorg là một dự án mã nguồn mở tập trung vào việc làm cho việc suy diễn mô hình ngôn ngữ lớn nhanh hơn và hiệu quả hơn, với những cải tiến liên tục nhanh chóng chuyển thành tăng tốc trong thế giới thực. Đằng sau những nỗ lực này là những kỹ sư tận tâm đảm bảo rằng mã nguồn phát triển để đáp ứng nhu cầu của cả nhà nghiên cứu và nhà phát triển. Trong phần Hỏi & Đáp này, Trevor Morris, Kỹ sư Phần mềm Học sâu Cấp cao tại NVIDIA và là người đóng góp cho SGLang, thảo luận về vai trò của mình với tư cách là một người đóng góp SGLang tại NVIDIA, những tối ưu hóa hiệu suất gần đây, và cách những đóng góp này đang giúp củng cố hệ sinh thái mã nguồn mở xung quanh LLMs. ➡️