🚀 DeepSeek-OCR — 來自 @deepseek_ai 的新一代 OCR,探索 LLM 的光學上下文壓縮,運行速度驚人,vLLM 上的速度達到 ⚡ (~2500 tokens/s 在 A100-40G) — 由 vllm==0.8.5 提供支持,實現日零模型支持。 🧠 在保持 97% OCR 準確率的情況下,壓縮視覺上下文達到 20 倍,且在 <10 倍的情況下。 📄 在 OmniDocBench 上使用更少的視覺 tokens 超越 GOT-OCR2.0 和 MinerU2.0。 🤝 vLLM 團隊正在與 DeepSeek 合作,將官方 DeepSeek-OCR 支持帶入下一個 vLLM 版本 — 使多模態推理變得更快且更易於擴展。 🔗 #vLLM #DeepSeek #OCR #LLM #VisionAI #DeepLearning