4 cách tối ưu token khi xây dựng hệ thống Multi-Agent AI

Một trong những thách thức lớn nhất khi xây dựng hệ thống Multi-Agent AI là lượng token tiêu thụ có thể tăng rất nhanh. Khi nhiều AI Agent cùng phối hợp để xử lý một quy trình phức tạp, mọi thành phần đều góp phần làm phình to ngữ cảnh xử lý: từ lịch sử hội thoại, bộ nhớ (memory), hướng dẫn hệ thống (system prompt), mô tả công cụ (tool specification) cho tới các tham số API. Kết quả là tốc độ xử lý giảm xuống, chi phí tính toán tăng lên và ngân sách dành cho LLM nhanh chóng bị tiêu hao

Đó là lý do tối ưu token đã trở thành một kỹ năng quan trọng đối với các kỹ sư AI hiện nay. Tin vui là mở rộng hệ thống Multi-Agent không đồng nghĩa với việc chi phí cũng phải tăng theo tỷ lệ tương ứng. Nếu áp dụng đúng một số chiến lược thiết kế, bạn hoàn toàn có thể xây dựng những hệ thống mạnh hơn nhưng vẫn kiểm soát tốt chi phí và độ trễ. Dưới đây là bốn kỹ thuật được sử dụng phổ biến nhất.

1. Static Instruction Caching (Prefix-Match Caching)

Một trong những nguyên nhân khiến LLM tiêu tốn nhiều token là phải liên tục đọc lại cùng một bộ hướng dẫn hệ thống trong mỗi lần gọi mô hình. Đây thường là những prompt rất dài mô tả vai trò của Agent, quy trình xử lý, quy tắc sử dụng công cụ hay các nguyên tắc bảo mật.

Static Instruction Caching giải quyết vấn đề này bằng cách lưu sẵn những phần hướng dẫn cố định dưới dạng bộ nhớ đệm (cache). Thay vì bắt mô hình đọc lại toàn bộ "sổ tay hướng dẫn" mỗi lần nhận yêu cầu mới, hệ thống chỉ cần tham chiếu tới trạng thái đã được lưu trước đó rồi xử lý phần prompt mới.

Nhờ vậy, thời gian chuẩn bị ngữ cảnh được rút ngắn đáng kể, đồng thời giảm lượng token phải xử lý ở mỗi lần suy luận. Đây là một trong những kỹ thuật đơn giản nhưng mang lại hiệu quả rất lớn đối với các hệ thống Agent có prompt hệ thống dài.

2. Semantic Caching: Tái sử dụng câu trả lời theo ngữ nghĩa

Nếu AI đã từng giải quyết một vấn đề trước đây, liệu có cần phải gọi LLM để tạo lại câu trả lời từ đầu?

Semantic Caching được xây dựng dựa trên ý tưởng đó. Thay vì so sánh từng từ, hệ thống chuyển câu hỏi thành các vector embedding và so sánh mức độ tương đồng về ngữ nghĩa.

Ví dụ, hai câu hỏi:

• "Làm thế nào để reset router?"

• "Các bước khởi động lại modem Wi-Fi là gì?"

có thể sử dụng những từ hoàn toàn khác nhau nhưng lại mang cùng một ý định. Nếu embedding của hai câu hỏi đủ giống nhau, hệ thống có thể lấy luôn câu trả lời đã lưu trong cache mà không cần gọi LLM lần nữa.

Điều này không chỉ giảm đáng kể chi phí token mà còn giúp rút ngắn thời gian phản hồi đối với những câu hỏi lặp lại.

3. Just-in-Time Tooling

Một sai lầm phổ biến khi xây dựng AI Agent là đưa toàn bộ tài liệu của tất cả công cụ, API và cơ sở dữ liệu vào prompt ngay từ đầu. Cách làm này khiến cửa sổ ngữ cảnh (context window) trở nên rất lớn, prompt chứa nhiều thông tin không liên quan và lượng token tăng lên nhanh chóng.

Just-in-Time Tooling (hay Lazy Loading) áp dụng một cách tiếp cận thông minh hơn.

Thay vì cung cấp toàn bộ tài liệu chi tiết, Agent chỉ được giới thiệu một danh mục ngắn gọn về các khả năng mà mình sở hữu. Chỉ khi xác định cần sử dụng một công cụ cụ thể, hệ thống mới tải phần hướng dẫn chi tiết, tham số và tài liệu của công cụ đó.

Nhờ vậy, prompt luôn gọn nhẹ và chỉ chứa những thông tin thực sự cần thiết cho nhiệm vụ hiện tại.

4. Task Escalation (Model Routing)

Không phải mọi yêu cầu đều cần đến GPT-5 hay Claude Opus. Trong nhiều hệ thống Multi-Agent hiện đại, lớp đầu tiên sẽ đóng vai trò như một bộ điều phối (Router), phân tích độ phức tạp của từng yêu cầu trước khi quyết định nên sử dụng mô hình nào.

Những tác vụ đơn giản như:

• tóm tắt văn bản;

• định dạng dữ liệu;

• phân loại nội dung;

• nhận diện ý định người dùng...

có thể được xử lý bằng các mô hình nhỏ chạy cục bộ hoặc những mô hình miễn phí.

Trong khi đó, các bài toán đòi hỏi suy luận nhiều bước, lập kế hoạch hoặc điều phối nhiều Agent mới được chuyển sang các mô hình lớn có chi phí cao hơn.

Cách tiếp cận này giúp tiết kiệm đáng kể chi phí token mà vẫn đảm bảo chất lượng đầu ra đối với các tác vụ thực sự cần khả năng suy luận mạnh.

Ví dụ kết hợp Semantic Caching và Model Routing

Sau khi hiểu bốn chiến lược trên, hãy xem một ví dụ đơn giản kết hợp hai kỹ thuật là Semantic Caching và Model Routing .

Ví dụ sử dụng thư viện Sentence Transformers để chuyển câu hỏi thành embedding phục vụ Semantic Caching. Các lời gọi LLM chỉ được mô phỏng nhằm minh họa nguyên lý hoạt động và hoàn toàn có thể thay thế bằng các mô hình mã nguồn mở như Llama chạy qua Ollama hoặc Groq.

import numpy as np
from sentence_transformers import SentenceTransformer

# Loading a free, local model to convert text into embeddings
embedder = SentenceTransformer('all-MiniLM-L6-v2')

semantic_cache = {}
SIMILARITY_THRESHOLD = 0.90

def cosine_similarity(vec1, vec2):
    return np.dot(vec1, vec2) / (np.linalg.norm(vec1) * np.linalg.norm(vec2))

def route_and_respond(user_query):

    query_vector = embedder.encode(user_query)

    # Semantic Cache
    for cached_vector, past_response in semantic_cache.values():
        if cosine_similarity(query_vector, cached_vector) >= SIMILARITY_THRESHOLD:
            return f"[Served from Cache] {past_response}"

    # Model Routing
    if "summarize" in user_query.lower() or len(user_query) < 100:
        response = call_free_local_agent(user_query)
    else:
        response = call_heavy_reasoning_agent(user_query)

    semantic_cache[user_query] = (query_vector, response)

    return response

def call_free_local_agent(prompt):
    return "Action completed by local, zero-cost model."

def call_heavy_reasoning_agent(prompt):
    return "Action completed by complex orchestration agent."

Trong ví dụ trên, quy trình hoạt động diễn ra theo bốn bước.

Đầu tiên, câu hỏi của người dùng được chuyển thành vector embedding. Tiếp theo, hệ thống kiểm tra xem đã từng xử lý một yêu cầu có ý nghĩa tương tự hay chưa. Nếu tìm thấy, kết quả sẽ được trả về trực tiếp từ cache mà không cần gọi mô hình AI.

Nếu không có dữ liệu phù hợp trong bộ nhớ đệm, hệ thống sẽ đánh giá mức độ phức tạp của yêu cầu để lựa chọn mô hình phù hợp. Các yêu cầu đơn giản sẽ được xử lý bởi một mô hình miễn phí chạy cục bộ, trong khi những tác vụ yêu cầu suy luận nhiều bước sẽ được chuyển tới mô hình lớn hơn.

Cuối cùng, câu hỏi cùng kết quả xử lý sẽ được lưu lại trong Semantic Cache để có thể tái sử dụng cho những yêu cầu tương tự trong tương lai.

Tùy thuộc vào loại tác vụ, hệ thống sẽ trả về một trong hai kết quả:

def call_free_local_agent(prompt):
    return "Action completed by local, zero-cost model."

def call_heavy_reasoning_agent(prompt):
    return "Action completed by complex orchestration agent."