Con solo una muestra de 5 segundos, este sistema puede clonar tu voz. No sólo es fácil sino también «increíble y terrorífico»

Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis es el trabajo de varios investigadores de Google, con un vocoder (codificador de voz) que funciona en tiempo real.

A partir de una muestra de voz cualquiera genera en cuestión de segundos una transcripción de texto-a-voz bastante realista utilizando esa misma voz de muestra; el código se puede bajar y probar aquí: Real Time Voice Cloning.

El vocoder que utiliza este sistema es WaveNet, una red neuronal profunda para generar audio a partir de muestras, creado por la gente de DeepMind.

Dicho sistema consta de tres componentes capacitados de forma independiente:

(1) una red de codificador de altavoces, capacitada en una tarea de verificación de altavoces utilizando un conjunto de datos independiente de voz ruidosa sin transcripciones de miles de hablantes, para generar un vector de incrustación de dimensiones fijas a partir de solo segundos de voz de referencia de un hablante objetivo

(2) una red de síntesis secuencia a secuencia basada en Tacotron 2 que genera un espectrograma mel a partir del texto, condicionado de altavoces

(3) una red de vocoder basada en WaveNet autorregresiva que convierte el espectrograma mel en muestras de forma de onda en el dominio del tiempo.

Se demostró que el modelo propuesto es capaz de transferir el conocimiento de la variabilidad del hablante aprendido por el codificador de hablante entrenado de manera discriminatoria al text-to-speech (TTS) de múltiples altavoces

Es una mezcla de increíble y terrorífico, pues estas cosas no sabes para qué maldad terminarán usándose, a pesar de que se haya concebido como una tecnología totalmente neutra.

Mikeal Roger

Aprende a programar de manera profesional en Azul School.

Los cursos que ves a continuación salen en enero, por el momento puedes disfrutar del curso de C++ y SQL. Te regalamos un cupón con una promoción sorpresa por pre-apertura (válido sólo para las primeras 10 personas): descuentoAW

Con la membresía tienes acceso a TODOS LOS CURSOS y a una Red Social de Programadores


Canal en Telegram de Azul Web

Te recomendamos seguirnos en nuestras redes para estar al tanto de noticias, cursos gratuitos y memes: Clic aquí para seguirnos en Facebook | Clic aquí para seguirnos en Instagram | Clic aquí para seguirnos en YouTube.

Descargar este artículo en PDF

Lo sentimos, esta opción solo está disponible para los socios. Más información de nuestro grupo de socios.

Marlene Rojas
Ing. en Sistemas Computacionales. Me gusta estar informada de todo lo que tenga que ver con ciencia y tecnología y me interesa todo aquello que involucre un nuevo aprendizaje.

Déjanos un comentario:

Deja un comentario

LO MAS HOT DE AZUL WEB

Conoce esta red social de programadores, el lugar perfecto para aprender a programar.