oLLM es una biblioteca ligera de Python para la inferencia local de LLM de contexto grande. Ejecute gpt-oss-20B, Qwen3-next-80B, Llama-3.1-8B en una GPU de consumo de ~ $ 200 con solo 8 GB de VRAM. Y esto es sin ninguna cuantificación, solo precisión fp16 / bf16. 100% de código abierto.