AI Bình dân: Sửa voice video không cần ghi âm với AI

Nếu anh em là người hay làm video công việc, đặc biệt là đối tượng nhà sáng tạo nội dung thì mình thấy việc sửa video là thường xuyên xảy ra. Omnivoice là một cái repo giúp anh em giải quyết các đoạn âm thanh bị nói sai, đọc sai, trước đây anh em phải tự mình ghi âm lại và ghép vào lại.

Omnivoice không chỉ giải quyết cây chuyện là biến chữ thành âm thanh không, cái đó bình thường quá, cái chính là Omnivoice cho ra âm thanh nó giống, nó khớp với âm thanh gốc của video. Nghe vào rất khó nhận ra là đã đọc lại và sửa âm thanh.

Còn tự ghi âm ghép vào thì nghe cái là biết liền.

Mình sẽ nói về tính năng, cách sử dụng và độ hiệu quả của cái repo này trước, rồi sẽ hướng dẩn cài đặt bên dưới cuối bài.

Test với vài trường hợp cụ thể

Bên dưới dây là 2 trường hợp mình chỉnh sửa thực tế trong video mình làm việc với đối tác, chỉnh sửa lại phần nội dung mình nói chưa đúng.

Trước hợp 1, lúc chưa sử dụng Omnivoice để edit.

Trước hợp 1, đã sử dụng Omnivoice để edit, chỉnh sửa lại nội dung nói bằng text.

Trước hợp 2, lúc chưa sử dụng Omnivoice để edit.

Trước hợp 2, đã sử dụng Omnivoice để edit, chỉnh sửa lại nội dung nói bằng text.

Trước hợp 3, lúc chưa sử dụng Omnivoice để edit.

Trước hợp 3, đã sử dụng Omnivoice để edit, chỉnh sửa lại nội dung nói bằng text.

Cho ra kết quả âm thanh nghe có độ giống ổn, nhiều trường hợp rất giống Nhưng cốt là giống ở cái giọng nói, âm thanh môi trường, tone, độ cao thấp của âm thanh Phát huy hiệu quả cao nhất với các đoạn câu ngắn, như 3 trường hợp mình có demo ở trên Các câu dài thì tỷ lệ thành công giảm đi

Mình đang ứng dụng Omnivoice cho các trường hợp như:

Đọc sai tên thương hiệu Nói sai nội dung, chỉnh sửa lại, nhất là tên và con số Thêm một đoạn nhỏ, nội dung ngắn, nhưng không cần ghi âm.

Omnivoice thực chất chỉ là một cái repo trên github, anh em hãy yêu cầu con AI Agent anh em đang dùng cài cho anh em là xong, cứ thế mà sử dụng thôi. Link repo.

Còn nếu mà lười nữa thì bấm vào cái mục Hugging Face bên dưới và dùng luôn ( tại đây ), không cần cài gì, nhưng cái này là chạy online phải có mạng, mình thích kéo về chạy local hơn.

Sau khi cài đặt xong, sẽ có một link để truy cập, anh em sẽ sử dung Omnivoice trên trình duyệt, của mình, giao diện như trên ảnh.

Ở mục Text to Synthesize: điền nội dung muốn biến thành voice. Trong ảnh là câu mình sử dụng trong trường hợp 1.

Reference Audio là nơi anh em tải lên audio mẫu, phải là một đoạn voice trong chính video cần edit của anh em, để clone cho giống. Tài liệu của Omni voice bảo là đừng quá dài, tầm 10-15 giây là được rồi.

Trong mục Generation Settings có thể tăng mục Inference Steps lên, đợi lâu hơn nhưng chất lượng bản clone sẽ ngon hơn.

Còn lại các mục bên dưới của thể bỏ qua, rồi bấm Generate để tạo thôi.

Kết quả sẽ nằm ở mục Output Audio, bấm nghe thử thấy ok thì tải xuống thôi.

Nhiều trường hợp mình thấy nó gen không hợp lý, không đúng lắm thì mình cho gen lại, gen lại chưa ngon thì đổi câu cú, đổi cho khác đi một xíu nhưng đừng quá dài, một hồi cũng được.

Không được nữa thì đổi thành 2 câu, rồi gen từng câu, rồi sẽ được thôi.

Mình thấy việc sử dụng cái repo này rất đơn giản, cài cũng đơn giản, anh em có nhu cầu có thể nghiên cứu, bửa giờ mình sửa video nhanh hơn, không còn phải tự ghi âm nữa.

Omnivoice có ưu điểm là nhẹ, đơn giản, free, chạy local, ai cũng dùng được hết, anh em có thể tải và dùng thử. Mức độ hiệu quả khả quang, mình dùng bửa giờ vài video rồi, cảm thấy khá ok, tỷ lệ fail cũng có nhưng ngồi gen một tí thì cũng ưng.