Các thông báo hệ thống đang trở nên lỗi thời! Dưới đây là một bài học ngược đời từ việc xây dựng các Đại lý trong thế giới thực: Việc viết các thông báo hệ thống khổng lồ không cải thiện hiệu suất của một Đại lý; nó thường làm cho hiệu suất tệ hơn. Ví dụ, bạn thêm một quy tắc về chính sách hoàn tiền. Sau đó là một quy tắc về giọng điệu. Rồi một quy tắc khác về khi nào cần nâng cấp. Trước khi bạn nhận ra, bạn đã có một cuốn sổ hướng dẫn dài 2.000 từ. Nhưng đây là điều chúng tôi đã học được: LLM rất kém trong việc xử lý điều này. Nghiên cứu gần đây cũng xác nhận điều mà nhiều người trong chúng ta đã trải nghiệm. Có một "Lời nguyền của các Hướng dẫn." Càng nhiều quy tắc bạn thêm vào một thông báo, mô hình càng tệ trong việc tuân theo bất kỳ quy tắc nào. Dưới đây là một cách tiếp cận tốt hơn: các hướng dẫn có điều kiện theo ngữ cảnh. Thay vì một thông báo khổng lồ, hãy chia nhỏ các hướng dẫn của bạn thành các phần mô-đun chỉ được tải vào LLM khi có liên quan. ``` agent.create_guideline( condition="Khách hàng hỏi về hoàn tiền", action="Kiểm tra trạng thái đơn hàng trước để xem có đủ điều kiện không", tools=[check_order_status], ) ``` Mỗi hướng dẫn có hai phần: - Điều kiện: Khi nào nó được tải vào? - Hành động: Đại lý nên làm gì? Phép màu xảy ra ở phía sau. Khi một truy vấn đến, hệ thống đánh giá các hướng dẫn nào có liên quan đến trạng thái cuộc trò chuyện hiện tại. Chỉ những hướng dẫn đó được tải vào ngữ cảnh của mô hình. Điều này giữ cho khối lượng nhận thức của LLM ở mức tối thiểu vì thay vì phải xử lý 50 quy tắc, nó chỉ tập trung vào 3-4 quy tắc thực sự quan trọng tại thời điểm đó. Điều này dẫn đến việc tuân theo hướng dẫn tốt hơn một cách đáng kể. Cách tiếp cận này được gọi là Mô hình hóa Sự phù hợp. Cấu trúc hướng dẫn theo ngữ cảnh để các đại lý giữ được sự tập trung, nhất quán và tuân thủ. Thay vì chờ đợi một mô hình nhỏ hơn được cho là, điều quan trọng là có một kiến trúc tôn trọng cách mà LLM hoạt động cơ bản. Cách tiếp cận này thực sự được triển khai trong Parlant - một khung mã nguồn mở đang nổi lên gần đây (hơn 13k sao). Bạn có thể xem toàn bộ triển khai và thử nghiệm nó. Nhưng cái nhìn cốt lõi áp dụng bất kể công cụ bạn sử dụng: Hãy có phương pháp hơn về kỹ thuật ngữ cảnh và thực sự giải thích những gì bạn mong đợi hành vi sẽ như thế nào trong các trường hợp đặc biệt mà bạn quan tâm. Sau đó, các đại lý có thể trở nên thực sự tập trung và hữu ích. Tôi đã chia sẻ liên kết repo trong các phản hồi.

Kỹ thuật ngữ ngữ cảnh so với kỹ thuật ngữ nhắc nhở: Trong những ngày đầu của LLMs, việc tạo ra những nhắc nhở thông minh là bí quyết thành công. Nhưng nếu bạn đang xây dựng các tác nhân AI nghiêm túc ngày nay, chỉ kỹ thuật nhắc nhở thôi thì không đủ. Bạn cần kỹ thuật ngữ ngữ cảnh. Dưới đây là lý do: - Nhắc nhở là về những gì bạn nói - Kỹ thuật ngữ ngữ cảnh là về những gì mô hình thấy Và những gì nó thấy quan trọng hơn bao giờ hết. Mỗi token trong ngữ cảnh đều tốn sự chú ý. Ngữ cảnh càng lớn, mô hình càng dễ bị phân tâm, quên hoặc chậm lại. Giống như con người, LLMs cũng có thể mất tập trung. Đó là lý do tại sao các tác nhân tốt không chỉ đơn giản là đổ mọi thứ vào ngữ cảnh. Họ: 1️⃣ Lựa chọn những gì hữu ích 2️⃣ Tóm tắt những gì cũ 3️⃣ Lấy những gì cần thiết (đúng lúc) 4️⃣ Viết ghi chú cho chính họ 5️⃣ Ủy thác công việc cho các tác nhân phụ khi cần thiết Đây không phải là lý thuyết, mà là cách mà các hệ thống như Claude Code, các tác nhân thực tế và các công cụ ghi nhớ hiệu quả đang hoạt động ngày nay. Kỹ thuật ngữ ngữ cảnh đang trở thành kỹ năng cốt lõi cho bất kỳ ai xây dựng các tác nhân dài hạn, nhiều bước. Nếu bạn nghiêm túc về các tác nhân, hãy bắt đầu coi ngữ cảnh như một nguồn tài nguyên hữu hạn, có giá trị cao. Và hãy kỹ thuật hóa nó theo cách đó. Bài viết này được lấy cảm hứng từ blog mới nhất của Anthropic về cùng một chủ đề. Tôi rất khuyên bạn nên đọc nó; liên kết sẽ được chia sẻ trong tweet tiếp theo!

Canvas giống như Figma để xây dựng & thử nghiệm quy trình làm việc AI! Với Trình tạo Đại lý AI của Postman, hơn 100.000 API trở thành công cụ cho các đại lý của bạn. Và một canvas trực quan không cần mã để nhanh chóng xây dựng & thử nghiệm các quy trình làm việc AI nhiều bước. Để hiểu rõ hơn, hãy tưởng tượng bạn đang xây dựng một quy trình hỗ trợ khách hàng: - Nó chấp nhận truy vấn của người dùng. - Lấy bối cảnh liên quan (từ các cuộc trò chuyện trước, tài liệu, v.v.) - Quyết định xem bối cảnh có liên quan hay không (đây là một điều kiện): → Nếu có, nó tạo ra một phản hồi và trả lại cho người dùng. → Nếu không, nó thông báo cho đội ngũ hỗ trợ con người. Như được thể hiện trong video dưới đây, bạn có thể xây dựng những quy trình làm việc này bên trong Trình tạo Đại lý AI của Postman và thử nghiệm tất cả các tích hợp để đảm bảo chúng hoạt động như mong đợi. Bằng cách này, các nhà phát triển AI chỉ có thể làm những gì họ nên làm: xây dựng các quy trình làm việc đại lý và cải thiện chúng mà không phải lo lắng về các thách thức tích hợp và thử nghiệm. Để bắt đầu, hãy kiểm tra liên kết trong tweet tiếp theo! Cảm ơn Postman đã hợp tác với tôi trong bài viết này!