🎉@Kimi_Moonshot co-fundador @ppwwyyxx a falar sobre a contribuição de código aberto Decode Context Parallel da Moonshot para o @vllm_project na conferência @PyTorch.

🚀 DeepSeek-OCR — a nova fronteira do OCR da @deepseek_ai, explorando a compressão de contexto óptico para LLMs, está a funcionar a uma velocidade impressionante no vLLM ⚡ (~2500 tokens/s no A100-40G) — alimentado por vllm==0.8.5 para suporte a modelos no dia 0. 🧠 Comprime contextos visuais até 20× enquanto mantém 97% de precisão OCR a <10×. 📄 Supera o GOT-OCR2.0 e o MinerU2.0 no OmniDocBench usando menos tokens de visão. 🤝 A equipe do vLLM está a trabalhar com a DeepSeek para trazer suporte oficial ao DeepSeek-OCR na próxima versão do vLLM — tornando a inferência multimodal ainda mais rápida e fácil de escalar. 🔗 #vLLM #DeepSeek #OCR #LLM #VisionAI #DeepLearning