🚀 DeepSeek-OCR — biên giới mới của OCR từ @deepseek_ai, khám phá nén ngữ cảnh quang học cho LLM, đang chạy cực kỳ nhanh trên vLLM ⚡ (~2500 tokens/s trên A100-40G) — được hỗ trợ bởi vllm==0.8.5 cho hỗ trợ mô hình ngày-0.
🧠 Nén ngữ cảnh hình ảnh lên đến 20× trong khi giữ độ chính xác OCR 97% ở <10×.
📄 Vượt trội hơn GOT-OCR2.0 & MinerU2.0 trên OmniDocBench sử dụng ít token hình ảnh hơn.
🤝 Nhóm vLLM đang làm việc với DeepSeek để đưa hỗ trợ chính thức DeepSeek-OCR vào bản phát hành vLLM tiếp theo — làm cho suy diễn đa phương thức nhanh hơn và dễ dàng mở rộng hơn.
🔗
#vLLM #DeepSeek #OCR #LLM #VisionAI #DeepLearning