DSPYが通常時間を無駄にする理由(そして無駄にならないとき) 質問: 「迅速な最適化には DSPY を使用する必要がありますか?私の雑巾システムを改善するのに最適なツールのようです。」 答え: DSPY は、非常に具体的で明確に定義されたタスクに最適です。しかし、ほとんどの Rag システムでは、実際に針を動かすものから気をそらすものです。 DSPYは、測定可能な精度で明確な分類タスクがある場合に最も効果的です。1つの指標でヒルクライムできる35クラスの分類を考えてみてください。しかし、ほとんどのぼろきれの問題はそうではありません。 トランスクリプトからセールスインサイトを抽出するシステムを構築する場合、「ここにすべてのセールスインサイトがあります」というデータセットはありません。実際の作業は、すべてを抽出し、いくつかの例に手作業でラベルを付け、ユーザーが実際に何を必要としているかについての直感を構築することです。 製品は単なるプロンプトではなく、フィードバックの収集方法、UI での期待値の設定方法、データ抽出の処理方法、コンテキスト内のチャンクの表現方法が含まれます。モデルがどのように間違いを犯し、ユーザーが何を求めているかに時間を費やすと、製品全体の改善がはるかに進むでしょう。 DSPY が輝いているのは、LLM as Judge シナリオです。本当に気になる調性や事実性の評価がある場合は、100 個の例に自分でラベルを付け、迅速な最適化ツールを使用して、成績に合った独自の審査員を作成するのが理にかなっています。 しかし、ほとんどの Rag システムでは?プロンプトを手動で微調整しながら、特定のユースケースについての直感を構築したほうがよいでしょう。その直感は、システムアーキテクチャ全体にわたってより良い意思決定の指針となります。