🚀 DeepSeek-OCR — die neue Grenze der OCR von @deepseek_ai, die die optische Kontextkompression für LLMs erforscht, läuft blitzschnell auf vLLM ⚡ (~2500 Tokens/s auf A100-40G) — unterstützt von vllm==0.8.5 für die Unterstützung von Day-0-Modellen.
🧠 Komprimiert visuelle Kontexte um bis zu 20× bei 97% OCR-Genauigkeit bei <10×.
📄 Übertrifft GOT-OCR2.0 & MinerU2.0 auf OmniDocBench mit weniger Vision-Tokens.
🤝 Das vLLM-Team arbeitet mit DeepSeek zusammen, um die offizielle Unterstützung von DeepSeek-OCR in die nächste vLLM-Version zu bringen — was multimodale Inferenz noch schneller und einfacher skalierbar macht.
🔗
#vLLM #DeepSeek #OCR #LLM #VisionAI #DeepLearning