Thêm âm thanh nền, áp dụng bộ lọc giọng nói cho ElevenAgents

Tổng quan

Tính năng "Audio environment" (Môi trường âm thanh) kiểm soát âm thanh đầu ra của agent khi truyền đến người gọi. Có hai thiết lập được áp dụng:

• Âm thanh nền (Background sound): Phát một âm thanh môi trường lặp lại bên dưới giọng nói của agent.

• Bộ lọc giọng nói (Voice filter): Áp dụng bộ lọc kiểu điện thoại cho giọng nói của agent trước khi trộn với âm thanh nền.

Người gọi sẽ nghe thấy kết quả cuối cùng này. Agent không nghe thấy âm thanh nền và âm thanh này cũng không được gửi vào hệ thống nhận dạng giọng nói.

Tính năng này tách biệt với âm thanh khi gọi công cụ – loại âm thanh chỉ phát trong khi công cụ đang hoạt động.

Âm thanh nền

Âm thanh nền sẽ trộn một mẫu có sẵn (preset) vào bên dưới giọng nói của agent trong suốt cuộc hội thoại. Âm thanh này tiếp tục lặp lại ngay cả khi người dùng ngắt lời; nó không dừng lại khi đến lượt người dùng nói.

Các mẫu có sẵn bao gồm: Văn phòng, nhà hàng, thành phố, tiếng gõ phím và nhạc thang máy. Trên dashboard, bạn có thể nghe thử mẫu âm thanh trước khi lưu.

Cấu hình âm thanh nền thông qua tham số conversation_config.conversation.background_sound.

Cấu hình

Cập nhật qua dashboard

1. Mở mục Audio environment

Mở agent của bạn. Tại trang Agent, bên cạnh mục Voices, hãy nhấp vào nút Audio environment.

2. Bật âm thanh nền

Bật tùy chọn Enable background sound. Chọn một mẫu từ danh sách Background sound. Sử dụng nút phát bên cạnh menu drop-down để nghe thử.

3. Thiết lập âm lượng và chế độ lặp

Thiết lập âm lượng (Volume). Giữ nguyên tùy chọn Crossfade loop để tránh tiếng "tách" (click) khó chịu khi âm thanh lặp lại. Lưu các thay đổi của bạn.

Cập nhật qua CLI

1. Tải cấu hình agent về

elevenlabs agents pull --agent agent_7101k5zvyjhmfg983brhmhkd98n6

2. Chỉnh sửa file agent_configs/<agent-name>.json

Thiết lập conversation_config.conversation.background_sound. Các giá trị source_id hợp lệ bao gồm: office1, office2, restaurant, city, typing và elevator1 đến elevator4.

{
  "conversation_config": {
    "conversation": {
      "background_sound": {
        "source_type": "preset",
        "source_id": "office2",
        "volume": 0.15,
        "crossfade_loop": true
      }
    }
  }
}

Để tắt âm thanh nền, hãy đặt source_type và source_id thành null. Không được bỏ qua trường background_sound hoặc đặt toàn bộ đối tượng này thành null; nếu làm vậy, thao tác cập nhật sẽ giữ nguyên cài đặt hiện có.

3. Đẩy cấu hình agent lên

elevenlabs agents push --agent agent_7101k5zvyjhmfg983brhmhkd98n6

Cập nhật qua API

Python

from elevenlabs import ElevenLabs

elevenlabs = ElevenLabs()

elevenlabs.conversational_ai.agents.update(
    agent_id="agent_7101k5zvyjhmfg983brhmhkd98n6",
    conversation_config={
        "conversation": {
            "background_sound": {
                "source_type": "preset",
                "source_id": "office2",
                "volume": 0.15,
                "crossfade_loop": True,
            }
        }
    },
)

TypeScript

import { ElevenLabsClient } from "@elevenlabs/elevenlabs-js";

const elevenlabs = new ElevenLabsClient();

await elevenlabs.conversationalAi.agents.update("agent_7101k5zvyjhmfg983brhmhkd98n6", {
  conversationConfig: {
    conversation: {
      backgroundSound: {
        sourceType: "preset",
        sourceId: "office2",
        volume: 0.15,
        crossfadeLoop: true,
      },
    },
  },
});

Để tắt tính năng này, hãy đặt source_type và source_id thành null. Việc bỏ qua source_id khi cập nhật sẽ không tắt tính năng này.

Các tham số

Các giá trị source_id hợp lệ bao gồm: office1, office2, restaurant, city, typing và từ elevator1 đến elevator4.

Bộ lọc giọng nói (Voice filter)

Bộ lọc giọng nói giúp thay đổi đặc tính giọng nói do agent tạo ra. Nó không thực hiện cân bằng âm thanh (equalize) hay khử nhiễu cho âm thanh nền. Bộ lọc này hoạt động trước tiên; âm thanh nền sẽ được hòa trộn bên dưới phần giọng nói đã qua xử lý.

Tại cùng bảng điều khiển Audio environment, hãy chuyển Voice filter sang chế độ Off hoặc chọn một cấu hình cài sẵn cho điện thoại, sau đó lưu lại.

Các hạn chế

• Chỉ hỗ trợ các cấu hình cài sẵn có sẵn. Bạn không thể upload lên file tùy chỉnh hay trỏ đến một URL bất kỳ.

• Các tùy chọn điều khiển môi trường âm thanh sẽ bị ẩn khi agent hoạt động ở chế độ chỉ văn bản (text-only).

• Âm thanh nền không được hòa trộn vào các tin nhắn thoại phản hồi trên WhatsApp. Tuy nhiên, các cuộc gọi WhatsApp vẫn bao gồm âm thanh nền này.

• Không thể thiết lập âm thanh nền riêng cho từng cuộc hội thoại thông qua các tùy chọn ghi đè từ phía client; tham số conversation_config_override không bao gồm background_sound. Bạn vẫn có thể thay đổi thiết lập này tại một node trong workflow.