🚀 Đánh giá chi tiết về NVIDIA DGX Spark của SGLang đã CÓ MẶT! Nhờ vào chương trình truy cập sớm của @NVIDIA, SGLang lần đầu tiên xuất hiện trong một sản phẩm tiêu dùng, DGX Spark hoàn toàn mới. Bộ nhớ thống nhất 128GB và kiến trúc Blackwell của DGX Spark thiết lập một tiêu chuẩn mới cho việc nguyên mẫu AI cục bộ và điện toán biên. Chúng tôi rất vui mừng khi mang đến những thông tin hiệu suất tiên tiến và hỗ trợ phần mềm này cho cộng đồng phát triển. Đánh giá của chúng tôi đi sâu vào cách triển khai và tăng tốc hiệu quả các mô hình lớn như Llama 3.1 70B, GPT-OSS bằng cách sử dụng giải mã suy đoán EAGLE3 của SGLang và @Ollama trên sản phẩm kỹ thuật tuyệt đẹp này. 👇 Video mở hộp và blog công nghệ trong chủ đề #SGLang #NVIDIA #SparkSomethingBig #Blackwell #DGXSpark #AIInference #LLMServing