🧑‍⚖️ 多代理法律助手 — 超快的 RAG。 由 CrewAI 提供支持，此演示在 <30ms 內查詢 50M+ 向量，以提供引用的法律答案。由 @akshay_pachaar 構建。

我剛剛發布了一個簡潔的逐步 Jupyter Notebook，展示了如何為 @crewAIInc 構建一個自定義 LLM，該 LLM 調用 @AnthropicAI 的 Messages API 並實現提示緩存。 那麼，什麼是提示緩存，何時在你的團隊中使用它？ 這是一種在 API 調用之間緩存提示的長重複部分（通常是系統上下文）的方法。你發送一次，然後後續調用重用它；將輸入成本降低約 90%，並將首次令牌的時間縮短約 85%，前提是系統內容 + 模型 + 頭部保持不變，並且你在 TTL 範圍內（默認 5 分鐘，測試版 1 小時）。 這對於多輪對話的團隊非常有效。任何時候你的團隊在任務之間重用長且穩定的系統上下文時（想想：手冊、規範、代碼庫摘要），也很有用。如果你的系統/上下文在每次調用時都在變化，緩存就不會有太大幫助。 這本食譜使用來自古騰堡計劃的“弗蘭肯斯坦”來演示如何使用真實的長上下文進行緩存。 下面的圖示：第一次運行寫入緩存；後續運行在系統內容、模型和頭部在 TTL 範圍內匹配時從緩存讀取。 代碼庫 + Notebook 在評論中。

我們目前正在測試我們的新 @crewAIInc Studio，但很快就會正式發布！ 到目前為止，看到人們第一次看到它運行時的反應真是令人震驚。 我錄製了一段簡短的預覽，展示了如何通過我們的平台進行氛圍編碼一個代理，並在幾分鐘內讓它運行，而無需編寫一行代碼。