Thiết kế hệ thống AI agent của bạn

Bạn đã học được các thành phần, mô hình, công cụ và thực tiễn của các AI agent. Giờ hãy thiết kế một hệ thống agent hoàn chỉnh từ đầu - áp dụng tất cả những gì đã học trong khóa học.

Tóm tắt nhanh: Trong suốt khóa học này, bạn đã học về: Tại sao agent lại quan trọng (Bài 1), 4 thành phần (Bài 2), các mẫu thiết kế (Bài 3), sử dụng công cụ (Bài 4), hệ thống multi-agent (Bài 5), bộ nhớ (Bài 6) và các thực tiễn sản xuất (Bài 7). Bài tập cuối khóa này tích hợp tất cả chúng.

Bài tập cuối khóa: Agent trợ lý nghiên cứu

Thiết kế một hệ thống agent giúp người lao động tri thức nghiên cứu các chủ đề, tổng hợp những phát hiện và tạo ra báo cáo. Phân tích từng quyết định thiết kế bằng cách sử dụng các framework lý thuyết từ khóa học này.

Bước 1: Xác định mục đích của agent

Nhiệm vụ: Nghiên cứu một chủ đề, thu thập thông tin từ nhiều nguồn, tổng hợp các phát hiện và tạo ra một báo cáo có cấu trúc.

Người dùng: Các nhà phân tích, chuyên gia tư vấn, quản lý sản phẩm - những người nghiên cứu các chủ đề và viết báo cáo như một phần công việc của họ.

Tiêu chí thành công: Báo cáo chính xác, có nguồn tham khảo đáng tin cậy, bao quát các khía cạnh chính của chủ đề và tuân theo định dạng mà người dùng ưa thích.

Bước 2: Chọn kiến trúc

Quyết định: Agent đơn lẻ hay multi-agent?

Đánh giá bằng cách sử dụng framework từ Bài học 5:

Quyết định: Bắt đầu với một agent duy nhất. Nhiệm vụ này phức tạp nhưng nằm trong khả năng của một agent. Nếu các chủ đề nghiên cứu thường xuyên vượt quá phạm vi ngữ cảnh, hãy tách thành Research Agent + Writing Agent sau này.

Bước 3: Chọn mẫu thiết kế

Chính: Planning + ReAct

Agent trước tiên lập kế hoạch nghiên cứu (những chủ đề phụ nào cần điều tra, những nguồn nào cần kiểm tra), sau đó thực hiện từng bước bằng cách sử dụng ReAct (Suy nghĩ → Hành động → Quan sát).

Phụ: Reflection

Sau khi soạn thảo báo cáo, agent phản ánh: Tất cả các tuyên bố đã được trích dẫn nguồn chưa? Cấu trúc có phù hợp với định dạng của người dùng không? Có những thiếu sót nào trong phạm vi bao phủ không?

[Plan] Chia chủ đề thành 4-5 chủ đề phụ
[ReAc] Nghiên cứu chủ đề phụ 1: Tìm kiếm → đọc → tổng hợp
[ReAc] Nghiên cứu chủ đề phụ 2: Tìm kiếm → đọc → tổng hợp
... 
[[Draft] Viết báo cáo từ các phát hiện đã tổng hợp
[Reflect] Kiểm tra tính chính xác, đầy đủ, định dạng
[Revise] Khắc phục các vấn đề đã xác định trong quá trình suy ngẫm
[Deliver] Trả lại báo cáo cuối cùng

✅ Kiểm tra nhanh: Kế hoạch của agent bao gồm "Nghiên cứu chủ đề phụ: Ứng dụng điện toán lượng tử trong chăm sóc sức khỏe". Sau khi tìm kiếm, nó tìm thấy rất ít thông tin - chỉ có 2 nguồn, cả hai đều là bài đăng trên blog mang tính suy đoán. Agent lập kế hoạch thích ứng nên làm gì?

Câu trả lời: Lập kế hoạch lại. Agent nên lưu ý rằng chủ đề phụ này có nguồn thông tin không đủ đáng tin cậy, thông báo cho người dùng rằng phạm vi nghiên cứu sẽ bị hạn chế trong lĩnh vực này và có thể chuyển hướng nỗ lực nghiên cứu sang các chủ đề phụ được ghi chép tốt hơn. Nó KHÔNG nên bổ sung thêm các suy đoán từ những nguồn yếu. Kế hoạch sẽ thích ứng với những gì nghiên cứu thực sự tìm thấy.

Bước 4: Xác định công cụ

Mỗi công cụ đều được mô tả rõ ràng, giải thích khi nào nên sử dụng và khi nào không nên sử dụng.

Bước 5: Thiết kế bộ nhớ

Agent sẽ lưu lại các checkpoint sau khi nghiên cứu xong mỗi chủ đề phụ. Nếu bị gián đoạn, nó sẽ tiếp tục từ checkpoint cuối cùng thay vì khởi động lại.

Bước 6: Thêm các giới hạn bảo vệ

Nhập các giới hạn bảo vệ:
├── Kiểm tra phạm vi chủ đề: Đây có phải là chủ đề nghiên cứu mà chúng tôi có thể hỗ trợ không?
├── Bộ lọc nội dung độc hại: Chặn các yêu cầu thông tin độc hại
└── Ước tính độ dài: Cảnh báo nếu phạm vi chủ đề quá rộng

Ngăn chặn đầu ra:
├── Xác minh nguồn: Mỗi tuyên bố phải trích dẫn nguồn
├── Kiểm tra đạo văn: Không có đoạn văn dài sao chép nguyên văn mà không có trích dẫn
├── Tuân thủ định dạng: Cấu trúc báo cáo phù hợp với định dạng được yêu cầu
└── Gắn cờ độ tin cậy: Đánh dấu các phần có nguồn tham khảo hạn chế

Ngăn chặn công cụ:
├── Lọc URL: Không truy cập các miền bị chặn
└── Giới hạn tốc độ: Tối đa 20 lượt tìm kiếm trên web cho mỗi báo cáo

Bước 7: Đánh giá kế hoạch

Bộ kiểm thử (30 trường hợp):

• 15 chủ đề thông thường (các lĩnh vực khác nhau: công nghệ, kinh doanh, khoa học)

• 8 trường hợp ngoại lệ (chủ đề rất chuyên biệt, chủ đề rất rộng, sự kiện gần đây)

• 4 trường hợp đối kháng (chèn mã độc) (các lần thử, yêu cầu nằm ngoài phạm vi)

• 3 lần kiểm thử hồi quy (các trường hợp đã thất bại trước đó)

Số liệu:

• Tỷ lệ hoàn thành nhiệm vụ mục tiêu: > 90%

• Độ chính xác nguồn (được con người xác minh): > 95%

• Tuân thủ định dạng: > 98%

• Độ trễ trung bình: < 5 phút mỗi báo cáo

Danh sách kiểm tra thiết kế

Sử dụng danh sách này khi thiết kế bất kỳ hệ thống agent nào:

Kiến trúc:
□ Agent riêng lẻ hay multi-agent? (Được chứng minh bằng nhu cầu thực tế)
□ Mẫu thiết kế được lựa chọn (Phản ứng/Suy ngẫm/Lập kế hoạch)
□ Sự kết hợp các mẫu được xác định cho các tác vụ phức tạp

Công cụ:
□ Mỗi công cụ đều có mô tả rõ ràng về thời điểm sử dụng/không sử dụng
□ Đầu ra có cấu trúc cho đầu vào và đầu ra của công cụ
□ Công cụ dự phòng cho các khả năng quan trọng

Bộ nhớ:
□ Chiến lược ngắn hạn (buffer/cửa sổ trượt)
□ Chiến lược dài hạn (kho lưu trữ vector/bộ nhớ thực thể)
□ Quản lý trạng thái với checkpoint

Sản xuất:
□ Các giới hạn an toàn cho đầu vào, đầu ra và công cụ được xác định
□ Bộ kiểm thử bao gồm cả 4 loại
□ Khả năng quan sát với theo dõi phân tán
□ Khôi phục lỗi với các lần thử lại và công cụ ngừng

Những điểm chính cần ghi nhớ

• Thiết kế hệ thống agent tuân theo một trình tự rõ ràng: Mục đích → kiến ​​trúc → mẫu → công cụ → bộ nhớ → giới hạn an toàn → đánh giá

• Bắt đầu với kiến ​​trúc đơn giản nhất có thể hoạt động — Một agent đơn lẻ được thiết kế tốt với các công cụ hiệu quả sẽ đánh bại một hệ thống multi-agent phức tạp thiếu nền tảng vững chắc.

• Mọi quyết định thiết kế cần được biện minh bằng nhu cầu thực tế, chứ không phải sự thanh lịch về mặt lý thuyết.

• Lập kế hoạch thích ứng, mô tả công cụ rõ ràng và bộ nhớ đa lớp là những lựa chọn thiết kế có tác động cao nhất.

• Sự sẵn sàng sản xuất đòi hỏi bốn trụ cột: An toàn (giới hạn bảo vệ), độ tin cậy (đánh giá), khả năng hiển thị (khả năng quan sát) và khả năng phục hồi (khôi phục lỗi).

• Nguyên tắc cốt lõi: Nền tảng trước sự phức tạp - hãy làm đúng những điều cơ bản, sau đó mới thêm sự tinh vi.