🚀 DeepSeek-OCR — nowa granica OCR od @deepseek_ai, badająca kompresję kontekstu optycznego dla LLM, działa błyskawicznie na vLLM ⚡ (~2500 tokenów/s na A100-40G) — zasilana przez vllm==0.8.5 dla wsparcia modelu od dnia 0.
🧠 Kompresuje konteksty wizualne do 20× przy zachowaniu 97% dokładności OCR przy <10×.
📄 Przewyższa GOT-OCR2.0 i MinerU2.0 na OmniDocBench, używając mniejszej liczby tokenów wizualnych.
🤝 Zespół vLLM współpracuje z DeepSeek, aby wprowadzić oficjalne wsparcie dla DeepSeek-OCR w następnej wersji vLLM — czyniąc wielomodalne wnioskowanie jeszcze szybszym i łatwiejszym do skalowania.
🔗
#vLLM #DeepSeek #OCR #LLM #VisionAI #DeepLearning