🚀 Детальний огляд NVIDIA DGX Spark SGLang LIVE! Завдяки програмі раннього доступу @NVIDIA SGLang вперше з'являється в споживчому продукті - абсолютно новому DGX Spark. Об'єднана пам'ять DGX Spark об'ємом 128 ГБ та архітектура Blackwell встановили новий стандарт для локального прототипування на основі штучного інтелекту та периферійних обчислень. Ми дуже раді поділитися цими передовими статистичними даними з продуктивністю та підтримкою програмного забезпечення зі спільнотою розробників. У нашому огляді ми розглянемо, як ефективно розгорнути та прискорити великі моделі, такі як Llama 3.1 70B, GPT-OSS за допомогою спекулятивного декодування EAGLE3 від SGLang, а також @Ollama на цій чудовій інженерній роботі. 👇 Розпакування відео та технічний блог у гілці #SGLang #NVIDIA #SparkSomethingBig #Blackwell #DGXSpark #AIInference #LLMServing