🚀 SGLang Grundig gjennomgang av NVIDIA DGX Spark er LIVE! Takket være @NVIDIA program for tidlig tilgang, gjør SGLang sin første opptreden noensinne i et forbrukerprodukt, den splitter nye DGX Spark. DGX Sparks 128 GB Unified Memory og Blackwell-arkitektur satte en ny standard for lokal AI-prototyping og edge computing. Vi er begeistret over å bringe denne banebrytende ytelsesinnsikten og programvarestøtten til utviklerfellesskapet. Vår anmeldelse dykker ned i hvordan du effektivt kan distribuere og akselerere store modeller som Llama 3.1 70B, GPT-OSS ved hjelp av SGLangs EAGLE3 spekulativ dekoding og @Ollama på dette vakre stykket ingeniørkunst. 👇 Unboxing-video og teknologiblogg i tråden #SGLang #NVIDIA #SparkSomethingBig #Blackwell #DGXSpark #AIInference #LLMServing