🎉 @Kimi_Moonshot co-fundador @ppwwyyxx falando sobre a contribuição de código aberto Decode Context Parallel da Moonshot para @vllm_project em @PyTorch conf.

🚀 DeepSeek-OCR - a nova fronteira do OCR da @deepseek_ai , explorando a compactação de contexto óptico para LLMs, está sendo executado incrivelmente rápido no vLLM ⚡ (~ 2500 tokens/s no A100-40G) - alimentado por vllm == 0.8.5 para suporte ao modelo de dia 0. 🧠 Comprime contextos visuais em até 20× mantendo 97% de precisão de OCR em <10×. 📄 Supera o GOT-OCR2.0 e o MinerU2.0 no OmniDocBench usando menos tokens de visão. 🤝 A equipe do vLLM está trabalhando com o DeepSeek para trazer o suporte oficial do DeepSeek-OCR para a próxima versão do vLLM, tornando a inferência multimodal ainda mais rápida e fácil de dimensionar. 🔗 #vLLM #DeepSeek #OCR #LLM #VisionAI #DeepLearning