Agent hỗ trợ nhiều giọng nói trong ElevenAgents

Cho phép trợ lý AI của bạn chuyển đổi giữa các giọng nói khác nhau để tạo ra các cuộc hội thoại nhiều nhân vật và kể chuyện hấp dẫn hơn.

Tổng quan về khả năng hỗ trợ nhiều giọng nói

Tính năng hỗ trợ đa giọng nói cho phép ElevenLabs agent của bạn linh hoạt chuyển đổi giữa các giọng nói ElevenLabs khác nhau trong cùng một cuộc hội thoại. Tính năng mạnh mẽ này hỗ trợ:

• Kể chuyện với nhiều nhân vật: Sử dụng các giọng nói khác nhau cho các nhân vật trong câu chuyện

• Dạy ngoại ngữ: Sử dụng giọng người bản ngữ cho các ngôn ngữ khác nhau

• Agent biểu đạt cảm xúc: Thay đổi giọng nói dựa trên ngữ cảnh cảm xúc

• Kịch bản nhập vai: Sử dụng các giọng nói riêng biệt cho các vai diễn khác nhau

Cách thức hoạt động

Khi tính năng hỗ trợ đa giọng nói được kích hoạt, agent có thể sử dụng các markup kiểu XML để chuyển đổi giữa những giọng nói đã cấu hình trong quá trình tạo văn bản. Agent sẽ tự động quay lại giọng nói mặc định nếu không có giọng nói cụ thể nào được chỉ định.

Ví dụ về chuyển đổi giọng nói

Giáo viên nói: <spanish>¡Hola estudiantes!</spanish>
Sau đó học sinh trả lời: <student>Hello! How are you today?</student>

Đối thoại giữa nhiều nhân vật

<narrator>Ngày xửa ngày xưa, tại một vương quốc xa xôi...</narrator>
<princess>Ta cần phải tìm ra viên pha lê ma thuật!</princess>
<wizard>Viên pha lê nằm ở phía bên kia khu rừng phép thuật.</wizard>

Cấu hình

Thêm các giọng nói được hỗ trợ

Mỗi giọng nói được hỗ trợ có các thuộc tính sau:

• Nhãn giọng nói (Voice label): Mã định danh duy nhất (ví dụ: “Joe”, “Spanish”, “Happy”)

• Giọng nói (Voice): Chọn từ các giọng nói ElevenLabs hiện có của bạn

• Nhóm mô hình (Model family): Chọn Turbo, Flash hoặc Multilingual (tùy chọn)

• Ngôn ngữ (Language): Ghi đè ngôn ngữ mặc định cho giọng nói này (tùy chọn)

• Mô tả (Description): Ngữ cảnh mà agent sẽ sử dụng giọng nói này

Cập nhật qua dashboard

Mở agent của bạn trong dashboard, chuyển đến tab Voice và tìm mục Multi-voice support. Nhấp vào Add voice để cấu hình một giọng nói mới.

Cập nhật qua CLI

1. Tải cấu hình agent về

elevenlabs agents pull --agent "<tên-agent>"

2. Chỉnh sửa agent_configs/<agent-name>.json

Thiết lập conversation_config.tts.supported_voices:

{
  "conversation_config": {
    "tts": {
      "supported_voices": [
        {
          "label": "Spanish",
          "voice_id": "<voice-id>",
          "language": "es",
          "description": "For any Spanish words or phrases"
        }
      ]
    }
  }
}

3. Đẩy các thay đổi của bạn lên

elevenlabs agents push --agent "<tên-agent>"

Cập nhật qua API

Python

from elevenlabs import ElevenLabs

elevenlabs = ElevenLabs()

elevenlabs.conversational_ai.agents.update(
    agent_id="agent_7101k5zvyjhmfg983brhmhkd98n6",
    conversation_config={
        "tts": {
            "supported_voices": [
                {
                    "label": "Spanish",
                    "voice_id": "<voice-id>",
                    "language": "es",
                    "description": "For any Spanish words or phrases",
                }
            ]
        },
    },

TypeScript

import { ElevenLabsClient } from "@elevenlabs/elevenlabs-js";

const elevenlabs = new ElevenLabsClient();

await elevenlabs.conversationalAi.agents.update("agent_7101k5zvyjhmfg983brhmhkd98n6", {
  conversationConfig: {
    tts: {
      supportedVoices: [
        {
          label: "Spanish",
          voiceId: "<voice-id>",
          language: "es",
          description: "For any Spanish words or phrases",
        },
      ],
    },
  },
});

Các thuộc tính của giọng nói

Nhãn giọng nói (Voice label)

Một mã định danh duy nhất mà LLM sử dụng để tham chiếu đến giọng nói này. Hãy chọn các nhãn mang tính mô tả như:

• Tên nhân vật: “Alice”, “Bob”, “Narrator” (Người dẫn chuyện)

• Ngôn ngữ: “Spanish” (Tiếng Tây Ban Nha), “French” (Tiếng Pháp), “German” (Tiếng Đức)

• Cảm xúc: “Happy” (Vui vẻ), “Sad” (Buồn bã), “Excited” (Hào hứng)

• Vai trò: “Teacher” (Giáo viên), “Student” (Học sinh), “Guide” (Hướng dẫn viên)

Họ mô hình (Model family)

Ghi đè nhóm mô hình mặc định của agent cho giọng nói cụ thể này:

• Flash: Tạo giọng nhanh nhất, tối ưu cho sử dụng thời gian thực

• Turbo: Cân bằng giữa tốc độ và chất lượng

• Multilingual: Chất lượng cao nhất, tốt nhất cho các ngôn ngữ không phải tiếng Anh

• Same as agent: Sử dụng cài đặt mặc định của agent

Ghi đè ngôn ngữ (Language override)

Chỉ định một ngôn ngữ khác cho giọng nói này, hữu ích cho:

• Các cuộc hội thoại đa ngôn ngữ

• Ứng dụng dạy ngoại ngữ

• Phát âm đặc thù theo vùng miền

Mô tả

Cung cấp ngữ cảnh về thời điểm agent nên sử dụng giọng nói này. Ví dụ:

• “Dành cho bất kỳ từ hoặc cụm từ tiếng Tây Ban Nha nào”

• “Khi nội dung tin nhắn mang sắc thái vui vẻ hoặc hào hứng”

• “Bất cứ khi nào nhân vật Joe đang nói”

Triển khai

Cú pháp XML markup

Agent của bạn sử dụng các tag kiểu XML để chuyển đổi giữa các giọng nói:

<VOICE_LABEL>văn bản cần đọc</VOICE_LABEL>

Các điểm chính:

• Thay thế VOICE_LABEL bằng nhãn chính xác mà bạn đã cấu hình

• Văn bản nằm ngoài các tag sẽ sử dụng giọng nói mặc định

• Các tag có phân biệt chữ hoa/chữ thường

• Không hỗ trợ thẻ lồng nhau

Tích hợp vào câu lệnh hệ thống (System prompt)

Khi bạn cấu hình các giọng nói được hỗ trợ, hệ thống sẽ tự động thêm hướng dẫn vào prompt của agent:

Khi một tin nhắn cần được đọc bởi một người cụ thể, hãy sử dụng markup: "<CHARACTER>message</CHARACTER>" trong đó CHARACTER là nhãn nhân vật.

Các giọng nói có sẵn bao gồm:
- default: bất kỳ văn bản nào nằm ngoài các tag CHARACTER
- Joe: Bất cứ khi nào Joe đang nói
- Spanish: Dành cho bất kỳ từ hoặc cụm từ tiếng Tây Ban Nha nào
- Narrator: Dành cho các phần mô tả, dẫn chuyện

Ví dụ sử dụng

Dạy ngoại ngữ

Giáo viên: Hãy cùng luyện tập cách chào hỏi. Trong tiếng Tây Ban Nha, chúng ta nói <Spanish>¡Hola! ¿Cómo estás?</Spanish>
Học sinh: Tôi nên trả lời thế nào?
Giáo viên: Bạn có thể nói <Spanish>¡Hola! "Estoy bien, gracias." có nghĩa là: Xin chào! Tôi khỏe, cảm ơn bạn.

Kể chuyện

Ngày xửa ngày xưa, một nàng công chúa dũng cảm đã mạo hiểm bước vào một hang động tối tăm.
<Princess>Ta không sợ ngươi đâu, rồng!</Princess> nàng dõng dạc tuyên bố. Con rồng gầm gừ từ
trong bóng tối: <Dragon>Ngươi nên sợ đấy, cô bé.</Dragon>
Nhưng nàng công chúa vẫn đứng vững, sẵn sàng đối mặt với bất cứ điều gì sắp xảy ra.

Các phương pháp tối ưu

Lựa chọn giọng nói

• Chọn những giọng nói có sự khác biệt rõ ràng giữa các nhân vật hoặc ngữ cảnh

• Kiểm tra sự kết hợp giữa các giọng nói để đảm bảo chúng phối hợp tốt với nhau

• Cân nhắc sắc thái cảm xúc và tính cách cho từng giọng nói

• Đảm bảo giọng nói phù hợp với ngôn ngữ và giọng điệu khi chuyển đổi ngôn ngữ

Đặt tên nhãn

• Sử dụng các nhãn mang tính mô tả, trực quan mà LLM có thể hiểu được

• Giữ cho nhãn ngắn gọn và dễ nhớ

• Tránh sử dụng ký tự đặc biệt hoặc khoảng trắng trong nhãn

Tối ưu hóa hiệu suất

• Giới hạn số lượng giọng nói được hỗ trợ ở mức thực sự cần thiết

• Sử dụng cùng một họ mô hình nếu có thể để giảm chi phí xử lý khi chuyển đổi

• Kiểm tra với các kịch bản hội thoại dự kiến ​​của bạn

• Theo dõi thời gian phản hồi khi có nhiều lần chuyển đổi giọng nói

Hướng dẫn về nội dung

• Cung cấp mô tả rõ ràng về thời điểm sử dụng từng giọng nói

• Kiểm tra các trường hợp đặc biệt nơi việc chuyển đổi giọng nói có thể gây khó hiểu

• Cân nhắc cơ chế dự phòng khi nhãn giọng nói không rõ ràng

• Đảm bảo việc chuyển đổi giọng nói giúp nâng cao trải nghiệm thay vì gây xao nhãng cuộc hội thoại

Các hạn chế

• Tối đa 10 giọng nói được hỗ trợ cho mỗi agent, bao gồm cả giọng mặc định

• Việc chuyển đổi giọng nói làm tăng độ trễ không đáng kể trong quá trình tạo phản hồi

• Các tag XML phải được định dạng và đóng tag đúng cách

• Nhãn giọng nói phân biệt chữ hoa và chữ thường trong markup

• Không hỗ trợ các tag giọng nói lồng nhau