Por que o Dspy geralmente desperdiça seu tempo (e quando não o faz) A pergunta: "Devo usar o DSPY para otimização imediata? Parece a ferramenta perfeita para melhorar meu sistema de trapos." A resposta: o dspy é ótimo para tarefas muito específicas e bem definidas. Mas para a maioria dos sistemas de trapos, é uma distração do que realmente move a agulha. Aqui está a realidade: o DSPY funciona melhor quando você tem uma tarefa de classificação clara com precisão mensurável. Pense na categorização de 35 classes, onde você pode escalar uma única métrica. Mas a maioria dos problemas de trapos não é assim. Quando estou construindo um sistema para extrair insights de vendas de transcrições, não tenho um conjunto de dados de "aqui estão todos os insights de vendas". O verdadeiro trabalho é extrair tudo, rotular manualmente alguns exemplos e criar intuição sobre o que os usuários realmente precisam. Seu produto não é apenas um prompt, ele inclui como você coleta feedback, define expectativas na interface do usuário, lida com a extração de dados e representa partes no contexto. Se você gastar tempo observando como o modelo comete erros e o que os usuários estão pedindo, você fará muito mais progresso melhorando o produto como um todo. O único lugar em que o DSPY brilha: cenários de LLM como juiz. Se você tem uma avaliação de tonalidade ou factualidade com a qual realmente se importa, faz sentido rotular 100 exemplos e, em seguida, usar ferramentas de otimização imediata para criar seu próprio juiz que se alinhe com suas notas. mas para a maioria dos sistemas de trapos? É melhor ajustar manualmente os prompts enquanto cria intuição sobre seu caso de uso específico. Essa intuição guiará melhores decisões em toda a arquitetura do sistema.