Hvorfor DSpy vanligvis kaster bort tiden din (og når den ikke gjør det) Spørsmålet: "Bør jeg bruke DSpy for rask optimalisering? Det virker som det perfekte verktøyet for å forbedre fillesystemet mitt." Svaret: DSPY er flott for veldig spesifikke, veldefinerte oppgaver. Men for de fleste fillesystemer er det en distraksjon fra det som faktisk beveger nålen. Her er virkeligheten: DSPY fungerer best når du har en klar klassifiseringsoppgave med målbar nøyaktighet. Tenk 35-klasse kategorisering der du kan klatre bakker på en enkelt beregning. Men de fleste filleproblemer er ikke slik. Når jeg bygger et system for å trekke ut salgsinnsikt fra transkripsjoner, har jeg ikke et datasett med "Her er all salgsinnsikten." Det virkelige arbeidet er å trekke ut alt, håndmerke noen eksempler og bygge intuisjon om hva brukerne faktisk trenger. Produktet ditt er ikke bare en melding – det inkluderer hvordan du samler inn tilbakemeldinger, setter forventninger i brukergrensesnittet, håndterer datautvinning og representerer biter i kontekst. Hvis du bruker tid på å se på hvordan modellen gjør feil og hva brukerne ber om, vil du gjøre mye mer fremgang med å forbedre produktet som helhet. Det ene stedet DSPY skinner: LLM-som-dommer-scenarier. Hvis du har en tonalitets- eller faktaevaluering du virkelig bryr deg om, er det fornuftig å merke 100 eksempler selv og deretter bruke raske optimaliseringsverktøy for å lage din egen dommer som stemmer overens med karakterene dine. Men for de fleste fillesystemer? Det er bedre å justere spørsmål manuelt mens du bygger intuisjon om din spesifikke brukssak. Denne intuisjonen vil veilede bedre beslutninger på tvers av hele systemarkitekturen din.