OmniVoice Studio: Giải pháp Voice AI mã nguồn mở đáng trải nghiệm

Trong vài năm qua, ElevenLabs gần như đã trở thành cái tên nổi bật nhất trong lĩnh vực voice AI. Nền tảng này cung cấp hàng loạt tính năng như voice cloning, text-to-speech, AI dubbing và tạo giọng nói nhân tạo với chất lượng rất cao. Tuy nhiên, đi kèm với đó là một vấn đề mà ngày càng nhiều developer và content creator bắt đầu quan tâm: gần như mọi thứ đều phải chạy qua cloud server.

Điều đó đồng nghĩa với việc audio cần upload lên hệ thống bên ngoài, workflow phụ thuộc internet liên tục và người dùng cũng phải trả chi phí thuê bao hàng tháng nếu muốn dùng lâu dài. Trong bối cảnh AI local đang phát triển rất nhanh, nhiều người bắt đầu tìm kiếm những giải pháp có thể chạy offline, giữ dữ liệu trên máy cá nhân và cho phép tùy biến sâu hơn thay vì phụ thuộc hoàn toàn vào nền tảng cloud.

Đó cũng là lý do OmniVoice Studio trở nên đáng chú ý. Đây là một desktop application mã nguồn mở cho phép xử lý hàng loạt tác vụ voice AI trực tiếp trên máy người dùng mà không cần gửi dữ liệu lên server bên ngoài.

Điều thú vị là OmniVoice Studio không chỉ đơn giản là một công cụ text-to-speech. Dự án này đang cố gắng xây dựng cả một hệ sinh thái voice AI local hoàn chỉnh với nhiều tính năng vốn trước đây thường chỉ xuất hiện trên các nền tảng thương mại lớn.

OmniVoice studio có thể làm được những gì?

Điểm khiến OmniVoice Studio nổi bật nằm ở việc nó gom khá nhiều workflow voice AI vào cùng một ứng dụng desktop duy nhất.

Tính năng gây chú ý nhất có lẽ là voice cloning. Hệ thống có thể clone giọng nói chỉ từ khoảng vài giây audio tham chiếu bằng cơ chế zero-shot learning. Điều đó có nghĩa model không cần được train trước với giọng nói đó mà vẫn có thể tạo ra chất giọng tương tự.

Phía bên dưới, OmniVoice sử dụng diffusion-based TTS model để học đặc trưng từ đoạn audio ngắn rồi tổng hợp lại giọng nói mới. Theo tài liệu dự án, engine nền tảng hỗ trợ hơn 600 ngôn ngữ khác nhau — con số khá ấn tượng với một dự án open-source chạy local.

Ngoài clone giọng thật, hệ thống còn hỗ trợ “voice design”. Thay vì sao chép giọng có sẵn, người dùng có thể tạo giọng mới bằng cách điều chỉnh nhiều yếu tố như độ tuổi, giới tính, accent, tốc độ nói, pitch hoặc cảm xúc. Điều này khá hữu ích với các creator muốn xây dựng narrator voice riêng cho video, podcast hoặc workflow AI content automation.

Một điểm rất đáng chú ý khác là khả năng video dubbing chạy hoàn toàn offline. Người dùng chỉ cần nhập YouTube URL hoặc chọn video local, sau đó hệ thống sẽ tự transcribe audio, dịch transcript, tạo voice mới, sau đói xuất thành file MP4 hoàn chỉnh.

Toàn bộ pipeline đều chạy trực tiếp trên máy cá nhân. Điều này khác khá nhiều so với phần lớn AI dubbing platform hiện nay vốn phụ thuộc gần như hoàn toàn vào cloud processing.

Dictation realtime theo kiểu “AI overlay”

OmniVoice Studio cũng tích hợp sẵn một dictation widget hoạt động như floating overlay toàn hệ thống.

Trên macOS, người dùng có thể kích hoạt nhanh bằng tổ hợp phím: ⌘ + ⇧ + Space. Sau đó bắt đầu nói trực tiếp từ bất kỳ ứng dụng nào.

Hệ thống sẽ stream transcription realtime rồi tự động chèn nội dung vào app đang được focus. Trải nghiệm này khá giống các AI dictation tool thương mại hiện nay, nhưng khác ở chỗ toàn bộ quá trình xử lý vẫn diễn ra local thay vì gửi audio lên cloud server.

Với những người thường xuyên viết nội dung, trả lời email hoặc ghi chú nhanh bằng giọng nói, đây là tính năng có tính thực dụng khá cao.

Hỗ Trợ Batch Workflow và MCP integration

Một trong những điểm khiến OmniVoice Studio trông “nghiêm túc” hơn nhiều dự án hobby khác là khả năng xử lý workflow lớn. Ứng dụng cho phép đưa vào tới hàng chục video trong Batch Queue rồi xử lý liên tục trong background. Mỗi job đều có progress tracking riêng để người dùng theo dõi toàn bộ pipeline từ transcription cho tới export video cuối cùng.

Ngoài ra, dự án còn tích hợp sẵn MCP Server. Điều này cho phép OmniVoice Studio kết nối trực tiếp với Claude, Cursor hoặc bất kỳ MCP client nào khác. Đây là chi tiết rất đáng chú ý vì MCP đang dần trở thành một trong những chuẩn kết nối phổ biến nhất cho AI agent workflow hiện đại. Điều đó đồng nghĩa OmniVoice Studio không chỉ là desktop app đơn lẻ, mà còn có thể hoạt động như một phần trong hệ sinh thái automation lớn hơn.

Về mặt kỹ thuật, OmniVoice Studio sử dụng React frontend kết nối với FastAPI backend. Backend hiện cung cấp gần 100 API endpoint, sử dụng Server-Sent Events cho realtime streaming và lưu dữ liệu qua SQLite.

Phần machine learning được xây dựng dựa trên nhiều thư viện AI mã nguồn mở khá nổi tiếng hiện nay. WhisperX đảm nhiệm phần speech recognition và word-level alignment với khả năng hỗ trợ khoảng 99 ngôn ngữ cho transcription. Trong khi đó, Demucs của Meta được dùng để tách giọng nói khỏi nhạc nền, còn Pyannote xử lý speaker diarization — tức xác định ai đang nói trong audio nhiều người.

Ngoài ra còn có AudioSeal, công nghệ watermark AI audio giúp nhúng invisible neural watermark vào âm thanh được tạo ra nhằm phục vụ mục đích provenance và xác thực nội dung AI-generated.

Toàn bộ desktop wrapper được xây bằng Tauri — framework Rust-based khá phổ biến cho các desktop application đa nền tảng.

Hỗ trợ GPU tự động và chạy local

Một điểm khá thân thiện với người dùng là OmniVoice Studio gần như không yêu cầu cấu hình thủ công quá nhiều.

Backend có thể tự động phát hiện:

• CUDA cho NVIDIA

• MPS cho Apple Silicon

• ROCm cho AMD GPU

Nếu VRAM thấp, hệ thống cũng có thể tự offload một phần workload sang CPU thay vì bắt người dùng tinh chỉnh quá sâu. Đây là chi tiết rất quan trọng vì khá nhiều dự án AI open-source hiện nay vẫn còn khó cài đặt với người dùng phổ thông.

6 TTS engine trong cùng một hệ thống

OmniVoice Studio hiện hỗ trợ nhiều TTS engine khác nhau thông qua backend registry dạng plugin. Engine mặc định là OmniVoice với hỗ trợ hơn 600 ngôn ngữ, ngoài ra còn có CosyVoice 3, MLX-Audio, VoxCPM2, MOSS-TTS-Nano và KittenTTS.

Mỗi engine có điểm mạnh riêng. Một số tối ưu cho Apple Silicon, một số tập trung vào realtime CPU inference, trong khi một số khác lại mạnh hơn ở multilingual synthesis.

Điều thú vị là developer hoàn toàn có thể thêm custom TTS engine khá dễ dàng bằng cách subclass TTSBackend với khoảng vài chục dòng Python. Điều này khiến OmniVoice Studio trở nên hấp dẫn hơn với researcher hoặc AI hobbyist muốn xây voice workflow riêng.

Vì sao các dự án voice AI local ngày càng quan trọng?

Trong vài năm gần đây, AI industry đang xuất hiện một xu hướng rất rõ: nhiều workflow AI bắt đầu dịch chuyển từ cloud xuống local device.

Với voice AI, điều này càng quan trọng hơn vì audio thường là dữ liệu mang tính cá nhân rất cao. Việc xử lý local giúp tăng quyền riêng tư, giảm latency, tránh phụ thuộc internet, và cho phép doanh nghiệp kiểm soát dữ liệu tốt hơn.

Ngoài ra, sự phát triển nhanh của small model và edge AI cũng khiến nhiều workflow từng bắt buộc phải chạy trên cloud giờ đã có thể xử lý trực tiếp trên laptop hoặc workstation cá nhân. OmniVoice Studio là ví dụ khá rõ cho xu hướng đó.

OmniVoice Studio có thể chưa polished tới mức các nền tảng thương mại lớn như ElevenLabs. Nhưng điều thú vị là dự án này cho thấy voice AI local đang tiến nhanh tới mức nào.

Từ voice cloning, AI dubbing, dictation cho tới MCP integration, rất nhiều tính năng từng gần như chỉ tồn tại trên cloud giờ đã bắt đầu chạy được hoàn toàn offline.

Với developer, AI enthusiast, content creator hoặc doanh nghiệp quan tâm tới privacy, đây có thể là một trong những dự án open-source đáng chú ý nhất hiện nay trong lĩnh vực voice AI.