Por qué DSPY suele hacerte perder el tiempo (y cuando no lo hace) La pregunta: "¿Debo usar DSPY para la optimización rápida? Parece la herramienta perfecta para mejorar mi sistema de trapos". La respuesta: DSPY es ideal para tareas muy específicas y bien definidas. Pero para la mayoría de los sistemas de trapos, es una distracción de lo que realmente mueve la aguja. Esta es la realidad: DSPY funciona mejor cuando tiene una tarea de clasificación clara con una precisión medible. Piense en una categorización de 35 clases en la que puede escalar colinas con una sola métrica. Pero la mayoría de los problemas de trapo no son así. Cuando estoy construyendo un sistema para extraer información de ventas de las transcripciones, no tengo un conjunto de datos de "aquí están todas las estadísticas de ventas". El verdadero trabajo es extraer todo, etiquetar a mano algunos ejemplos y desarrollar la intuición sobre lo que los usuarios realmente necesitan. Su producto no es solo un aviso, incluye cómo recopila comentarios, establece expectativas en la interfaz de usuario, maneja la extracción de datos y representa fragmentos en contexto. Si dedica tiempo a observar cómo el modelo comete errores y qué piden los usuarios, progresará mucho más mejorando el producto en su conjunto. El único lugar donde brilla DSPY: escenarios de LLM como juez. Si tiene una evaluación de tonalidad o facticidad que realmente le importa, tiene sentido etiquetar 100 ejemplos usted mismo y luego usar herramientas de optimización rápida para crear su propio juez que se alinee con sus calificaciones. ¿Pero para la mayoría de los sistemas de trapo? Es mejor ajustar manualmente las indicaciones mientras construye intuición sobre su caso de uso específico. Esa intuición guiará mejores decisiones en toda la arquitectura de su sistema.