🚀 DeepSeek-OCR – den nye grensen for OCR fra @deepseek_ai , som utforsker optisk kontekstkomprimering for LLM-er, kjører lynraskt på vLLM ⚡ (~2500 tokens/s på A100-40G) – drevet av vllm==0.8.5 for dag-0-modellstøtte. 🧠 Komprimerer visuelle kontekster opptil 20× samtidig som 97 % OCR-nøyaktighet holdes på <10×. 📄 Overgår GOT-OCR2.0 og MinerU2.0 på OmniDocBench ved å bruke færre synstokens. 🤝 vLLM-teamet jobber med DeepSeek for å bringe offisiell DeepSeek-OCR-støtte inn i neste vLLM-utgivelse – noe som gjør multimodal inferens enda raskere og enklere å skalere. 🔗 #vLLM #DeepSeek #OCR #LLM #VisionAI #DeepLearning