🚀 DeepSeek-OCR — nová hranice OCR od společnosti @deepseek_ai, která zkoumá optickou kompresi kontextu pro LLM, běží na vLLM ⚡ bleskově rychle (~2500 tokenů/s na A100-40G) — poháněno vllm==0.8.5 pro podporu modelu day-0.
🧠 Komprimuje vizuální kontexty až na 20 × při zachování 97% přesnosti OCR při <10×.
📄 Překonává GOT-OCR2.0 a MinerU2.0 na OmniDocBench s použitím menšího počtu vizuálních tokenů.
🤝 Tým vLLM spolupracuje s DeepSeek na zavedení oficiální podpory DeepSeek-OCR do příští verze vLLM – díky čemuž je multimodální inference ještě rychlejší a snadněji škálovatelná.
🔗
#vLLM #DeepSeek #OCR #LLM #VisionAI #DeepLearning