🚀 La revue approfondie de SGLang sur le NVIDIA DGX Spark est EN DIRECT ! Grâce au programme d'accès anticipé de @NVIDIA, SGLang fait sa première apparition dans un produit grand public, le tout nouveau DGX Spark. La mémoire unifiée de 128 Go du DGX Spark et l'architecture Blackwell établissent une nouvelle norme pour le prototypage local d'IA et l'informatique en périphérie. Nous sommes ravis d'apporter ces informations sur les performances de pointe et ce soutien logiciel à la communauté des développeurs. Notre revue explore comment déployer et accélérer efficacement de grands modèles comme Llama 3.1 70B, GPT-OSS en utilisant le décodage spéculatif EAGLE3 de SGLang et @Ollama sur ce magnifique morceau d'ingénierie. 👇 Vidéo de déballage et blog technique dans le fil #SGLang #NVIDIA #SparkSomethingBig #Blackwell #DGXSpark #AIInference #LLMServing