🚀 SGLang eingehende Überprüfung des NVIDIA DGX Spark ist JETZT LIVE! Dank des frühen Zugangsprogramms von @NVIDIA tritt SGLang zum ersten Mal in einem Verbraucherprodukt auf, dem brandneuen DGX Spark. Der DGX Spark mit 128 GB Unified Memory und der Blackwell-Architektur setzt einen neuen Standard für lokales KI-Prototyping und Edge-Computing. Wir freuen uns, diese bahnbrechenden Leistungsanalysen und Softwareunterstützung der Entwicklergemeinschaft zu bringen. Unsere Überprüfung geht darauf ein, wie man große Modelle wie Llama 3.1 70B, GPT-OSS effizient mit SGLangs EAGLE3 spekulativer Dekodierung und @Ollama auf diesem wunderschönen Stück Technik bereitstellt und beschleunigt. 👇 Unboxing-Video und Tech-Blog im Thread #SGLang #NVIDIA #SparkSomethingBig #Blackwell #DGXSpark #AIInference #LLMServing