🚀 Глубокий обзор SGLang на NVIDIA DGX Spark в эфире! Благодаря программе раннего доступа от @NVIDIA, SGLang впервые появляется в потребительском продукте — совершенно новом DGX Spark. 128 ГБ унифицированной памяти и архитектура Blackwell DGX Spark устанавливают новый стандарт для локального прототипирования ИИ и вычислений на краю. Мы рады предоставить эти передовые аналитические данные о производительности и поддержку программного обеспечения сообществу разработчиков. Наш обзор погружается в то, как эффективно развертывать и ускорять большие модели, такие как Llama 3.1 70B, GPT-OSS, используя спекулятивное декодирование EAGLE3 от SGLang и @Ollama на этом прекрасном инженерном решении. 👇 Видео распаковки и технический блог в теме #SGLang #NVIDIA #SparkSomethingBig #Blackwell #DGXSpark #AIInference #LLMServing