Varför DSpy vanligtvis slösar bort din tid (och när den inte gör det) Frågan: "Ska jag använda DSpy för snabb optimering? Det verkar vara det perfekta verktyget för att förbättra mitt trassystem." Svaret: DSpy är bra för mycket specifika, väldefinierade uppgifter. Men för de flesta trassystem är det en distraktion från det som faktiskt rör nålen. Här är verkligheten: DSpy fungerar bäst när du har en tydlig klassificeringsuppgift med mätbar noggrannhet. Tänk dig 35-klassers kategorisering där du kan klättra i backe på ett enda mått. Men de flesta trasproblem är inte så. När jag bygger ett system för att extrahera försäljningsinsikter från transkriptioner har jag inte en datauppsättning med "Här är alla försäljningsinsikter". Det verkliga arbetet är att extrahera allt, handmärka några exempel och bygga intuition om vad användarna faktiskt behöver. Din produkt är inte bara en uppmaning – den inkluderar hur du samlar in feedback, ställer in förväntningar i användargränssnittet, hanterar dataextraktion och representerar delar i sitt sammanhang. Om du lägger tid på att titta på hur modellen gör misstag och vad användarna efterfrågar kommer du att göra mycket större framsteg när du förbättrar produkten som helhet. Det enda stället DSpy lyser: LLM-som-domare-scenarier. Om du har en tonalitets- eller saklighetsutvärdering som du verkligen bryr dig om, är det vettigt att märka 100 exempel själv och sedan använda snabba optimeringsverktyg för att skapa din egen domare som stämmer överens med dina betyg. Men för de flesta trassystem? Det är bättre att manuellt justera uppmaningar samtidigt som du bygger upp intuition om ditt specifika användningsfall. Den intuitionen kommer att vägleda bättre beslut i hela din systemarkitektur.