De ce Dspy îți pierde de obicei timpul (și când nu) Întrebarea: "Ar trebui să folosesc DSPiP pentru optimizarea promptă? pare a fi instrumentul perfect pentru a-mi îmbunătăți sistemul de cârpe." Răspunsul: Dspy este excelent pentru sarcini foarte specifice, bine definite. Dar pentru majoritatea sistemelor de cârpe, este o distragere a atenției de la ceea ce mișcă de fapt acul. Iată realitatea: Dspy funcționează cel mai bine atunci când aveți o sarcină de clasificare clară cu o precizie măsurabilă. Gândiți-vă la o clasificare de 35 de clase în care puteți urca pe o singură măsură. Dar majoritatea problemelor de cârpă nu sunt așa. Când construiesc un sistem pentru a extrage informații despre vânzări din transcrieri, nu am un set de date care să spună "Iată toate informațiile despre vânzări". Produsul tău nu este doar o solicitare - include modul în care colectezi feedback, stabilești așteptări în interfața de utilizare, gestionezi extragerea datelor și reprezinți bucăți în context. Dacă petreceți timp uitându-vă la modul în care modelul face greșeli și la ce cer utilizatorii, veți face mult mai multe progrese în îmbunătățirea produsului în ansamblu. Singurul loc în care Dspy strălucește: scenariile LLM ca judecător. Dacă aveți o evaluare a tonalității sau a faptelor de care vă pasă cu adevărat, este logic să etichetați singur 100 de exemple și apoi să utilizați instrumente de optimizare promptă pentru a vă crea propriul arbitru care să se alinieze cu notele dvs. Dar pentru majoritatea sistemelor de cârpe? Este mai bine să modificați manual solicitările în timp ce vă construiți intuiția despre cazul de utilizare specific. Această intuiție va ghida decizii mai bune în întreaga arhitectură a sistemului.