Proč DSPY obvykle plýtvá vaším časem (a když ne) Otázka: "Mám použít DSPY pro rychlou optimalizaci? Zdá se mi to jako perfektní nástroj pro vylepšení mého systému hadrů." Odpověď: DSPY je skvělý pro velmi specifické, dobře definované úkoly. Ale pro většinu systémů RAG je to odvádění pozornosti od toho, co skutečně pohybuje jehlou. Realita je následující: DSPY funguje nejlépe, když máte jasnou klasifikační úlohu s měřitelnou přesností. Představte si kategorizaci 35 tříd, kde můžete šplhat do kopce na základě jediné metriky. Ale většina problémů s hadrem taková není. Když vytvářím systém pro extrakci Sales Insights z přepisů, nemám k dispozici dataset typu "Tady jsou všechny Sales Insights." Skutečná práce spočívá v extrahování všeho, ručním označení několika příkladů a budování intuice o tom, co uživatelé skutečně potřebují. Váš produkt není jen výzva – zahrnuje způsob, jakým shromažďujete zpětnou vazbu, nastavujete očekávání v uživatelském rozhraní, zvládáte extrakci dat a reprezentujete bloky v kontextu. Pokud strávíte čas sledováním toho, jak model dělá chyby a co uživatelé požadují, dosáhnete mnohem většího pokroku při zlepšování produktu jako celku. Jediné místo, kde DSPY září: scénáře LLM jako soudce. Pokud máte hodnocení tonality nebo faktuality, na kterém vám opravdu záleží, má smysl označit 100 příkladů sami a poté pomocí nástrojů pro rychlou optimalizaci vytvořit vlastní soudce, který je v souladu s vašimi známkami. Ale pro většinu systémů RAG? Je lepší ručně upravovat výzvy a zároveň budovat intuici ohledně konkrétního případu použití. Tato intuice povede k lepším rozhodnutím v celé architektuře vašeho systému.