🚀 SGLang NVIDIA DGX Spark の詳細なレビューが公開されました! @NVIDIAの早期アクセスプログラムのおかげで、SGLangは消費者向け製品である新しいDGX Sparkに初めて登場しました。 DGX Spark の 128GB ユニファイド メモリと Blackwell アーキテクチャは、ローカル AI プロトタイピングとエッジ コンピューティングの新しい標準を打ち立てました。これらの最先端のパフォーマンスに関する洞察とソフトウェアサポートを開発者コミュニティに提供できることを嬉しく思います。 私たちのレビューでは、SGLang の EAGLE3 投機的デコードを使用して、Llama 3.1 70B、GPT-OSS などの大規模モデルを効率的に展開および高速化する方法を詳しく説明し、この美しいエンジニアリングを@Ollamaします。 👇 スレッド内のビデオと技術ブログの開梱 #SGLang #NVIDIA #SparkSomethingBig #Blackwell #DGXSpark #AIInference #LLMServing