🚀 DeepSeek-OCR, la nueva frontera de OCR de @deepseek_ai, que explora la compresión óptica de contexto para LLM, se ejecuta increíblemente rápido en vLLM ⚡ (~ 2500 tokens/s en A100-40G), impulsado por vllm == 0.8.5 para soporte de modelo de día 0. 🧠 Comprime los contextos visuales hasta un 20× manteniendo una precisión de OCR del 97% en <10×. 📄 Supera a GOT-OCR2.0 y MinerU2.0 en OmniDocBench utilizando menos tokens de visión. 🤝 El equipo de vLLM está trabajando con DeepSeek para llevar el soporte oficial de DeepSeek-OCR a la próxima versión de vLLM, lo que hace que la inferencia multimodal sea aún más rápida y fácil de escalar. 🔗 #vLLM #DeepSeek #OCR #LLM #VisionAI #DeepLearning