SGLang 由 @lmsysorg 開發，是一個開源項目，專注於使大型語言模型推理更快、更高效，並持續改進，迅速轉化為現實世界的速度提升。在這些努力的背後，是專注的工程師確保代碼不斷演進，以滿足研究人員和開發者的需求。 在這次問答中，NVIDIA 的高級深度學習軟體工程師 Trevor Morris，作為 SGLang 的貢獻者，討論了他在 NVIDIA 作為 SGLang 貢獻者的角色、最近的性能優化，以及這些貢獻如何幫助加強 LLM 周圍的開源生態系統。 ➡️