🚀 SGLang 对 NVIDIA DGX Spark 的深入评测现已上线! 感谢 @NVIDIA 的早期访问计划,SGLang 首次出现在消费产品中,全新的 DGX Spark。 DGX Spark 的 128GB 统一内存和 Blackwell 架构为本地 AI 原型开发和边缘计算设定了新的标准。我们很高兴能将这些尖端性能洞察和软件支持带给开发者社区。 我们的评测深入探讨了如何高效部署和加速大型模型,如 Llama 3.1 70B、GPT-OSS,使用 SGLang 的 EAGLE3 推测解码和 @Ollama 在这件美丽的工程作品上。 👇 开箱视频和技术博客在帖子中 #SGLang #NVIDIA #SparkSomethingBig #Blackwell #DGXSpark #AIInference #LLMServing