🚀 SGLang 深入評測 NVIDIA DGX Spark 現已上線！ 感謝 @NVIDIA 的早期訪問計劃，SGLang 首次出現在消費產品中，全新的 DGX Spark。 DGX Spark 的 128GB 統一記憶體和 Blackwell 架構為本地 AI 原型設計和邊緣計算樹立了新的標準。我們很高興能將這些尖端性能洞察和軟體支持帶給開發者社群。 我們的評測深入探討如何有效部署和加速大型模型，如 Llama 3.1 70B、GPT-OSS，使用 SGLang 的 EAGLE3 推測解碼和 @Ollama 在這件美麗的工程作品上。 👇 開箱視頻和技術博客在主題中 #SGLang #NVIDIA #SparkSomethingBig #Blackwell #DGXSpark #AIInference #LLMServing