SGLang by @lmsysorg adalah proyek open source yang berfokus pada pembuatan inferensi model bahasa besar lebih cepat dan lebih efisien, dengan peningkatan berkelanjutan yang dengan cepat diterjemahkan ke dalam kecepatan dunia nyata. Di balik upaya ini adalah insinyur khusus yang memastikan kode berkembang untuk memenuhi kebutuhan peneliti dan pengembang. Dalam Tanya Jawab ini, Trevor Morris, Senior Deep Learning Software Engineer di NVIDIA dan komitman untuk SGLang, membahas perannya sebagai komiter SGLang di NVIDIA, pengoptimalan kinerja terbaru, dan bagaimana kontribusi ini membantu memperkuat ekosistem open source di sekitar LLM. ➡️