🚀 La recensione approfondita di SGLang sul NVIDIA DGX Spark è LIVE! Grazie al programma di accesso anticipato di @NVIDIA, SGLang fa la sua prima apparizione in un prodotto di consumo, il nuovissimo DGX Spark. La memoria unificata da 128GB e l'architettura Blackwell del DGX Spark stabiliscono un nuovo standard per il prototipaggio AI locale e il computing edge. Siamo entusiasti di portare queste intuizioni sulle prestazioni all'avanguardia e il supporto software alla comunità degli sviluppatori. La nostra recensione esplora come distribuire e accelerare in modo efficiente grandi modelli come Llama 3.1 70B, GPT-OSS utilizzando il decoding speculativo EAGLE3 di SGLang e @Ollama su questo bellissimo pezzo di ingegneria. 👇 Video di unboxing e blog tecnico nel thread #SGLang #NVIDIA #SparkSomethingBig #Blackwell #DGXSpark #AIInference #LLMServing