🎉 @Kimi_Moonshot co-fondator @ppwwyyxx vorbind despre contribuția open source Decode Context Parallel de la Moonshot la @vllm_project la @PyTorch conferință.

🚀 DeepSeek-OCR - noua frontieră a OCR din @deepseek_ai, care explorează compresia optică a contextului pentru LLM-uri, rulează extrem de rapid pe vLLM ⚡ (~2500 tokenuri/s pe A100-40G) - alimentat de vllm==0.8.5 pentru suport pentru modelul day-0. 🧠 Comprimă contextele vizuale până la 20× menținând în același timp o precizie OCR de 97% la <10×. 📄 Depășește GOT-OCR2.0 și MinerU2.0 pe OmniDocBench folosind mai puține jetoane de viziune. 🤝 Echipa vLLM lucrează cu DeepSeek pentru a aduce suportul oficial DeepSeek-OCR în următoarea versiune vLLM - făcând inferența multimodală și mai rapidă și mai ușor de scalat. 🔗 #vLLM #DeepSeek #OCR #LLM #VisionAI #DeepLearning