Mengapa DSPY biasanya membuang-buang waktu Anda (dan ketika tidak) Pertanyaan: "Haruskah saya menggunakan DSPY untuk pengoptimalan cepat? sepertinya alat yang sempurna untuk meningkatkan sistem kain saya." Jawabannya: DSPY sangat bagus untuk tugas yang sangat spesifik dan terdefinisi dengan baik. Tetapi untuk sebagian besar sistem kain, itu adalah gangguan dari apa yang sebenarnya menggerakkan jarum. Inilah kenyataannya: DSPY bekerja paling baik ketika Anda memiliki tugas klasifikasi yang jelas dengan akurasi yang terukur. Pikirkan kategorisasi kelas 35 di mana Anda dapat mendaki bukit pada satu metrik. Tapi sebagian besar masalah kain tidak seperti itu. Ketika saya membangun sistem untuk mengekstrak wawasan penjualan dari transkrip, saya tidak memiliki kumpulan data "Inilah semua wawasan penjualan." Pekerjaan sebenarnya adalah mengekstrak semuanya, memberi label tangan beberapa contoh, dan membangun intuisi tentang apa yang sebenarnya dibutuhkan pengguna. Produk Anda bukan hanya prompt - ini mencakup cara Anda mengumpulkan umpan balik, menetapkan ekspektasi di UI, menangani ekstraksi data, dan mewakili potongan dalam konteks. Jika Anda meluangkan waktu untuk melihat bagaimana model membuat kesalahan dan apa yang diminta pengguna, Anda akan membuat lebih banyak kemajuan dalam meningkatkan produk secara keseluruhan. Satu-satunya tempat DSPY bersinar: skenario LLM-sebagai-hakim. Jika Anda memiliki evaluasi nada atau faktualitas yang benar-benar Anda pedulikan, masuk akal untuk memberi label sendiri pada 100 contoh dan kemudian menggunakan alat pengoptimalan cepat untuk membuat hakim Anda sendiri yang selaras dengan nilai Anda. Tetapi untuk sebagian besar sistem kain? Anda lebih baik mengubah petunjuk secara manual sambil membangun intuisi tentang kasus penggunaan spesifik Anda. Intuisi itu akan memandu keputusan yang lebih baik di seluruh arsitektur sistem Anda.