Microsoft ha anunciado un nuevo modelo de inteligencia artificial de texto a voz llamado VALL-E que puede simular la voz de una persona cuando se le da una muestra de audio de tres segundos. Una vez que lo ha escuchado hablar durante tres segundos, VALL-E puede sintetizar el audio diciendo cualquier cosa e imitar su tono emocional.
Volish Boffins afirma que VALL-E podría usarse para aplicaciones de texto a voz de alta calidad, edición de voz donde la grabación de una persona podría editarse y cambiarse de una transcripción de texto (haciéndola decir algo que nunca dijo) y audio creación de contenido cuando se combina con otros modelos generativos de IA como GPT-3.
Microsoft llama a VALL-E un «modelo de lenguaje de códec neuronal» y utiliza una tecnología llamada EnCodec, que Meta anunció en octubre de 2022. VALL-E genera códigos de códec de audio discretos a partir de mensajes de texto y auditivos, a diferencia de otros métodos de texto a voz.
Analiza cómo suena una persona, divide esa información en componentes discretos (llamados «tokens») gracias a EnCodec y usa datos de entrenamiento para hacer coincidir lo que «sabe» sobre cómo sonaría esa voz si pronunciara otras frases fuera de los tres segundos. muestra. O, como dice Microsoft en el documento de VALL-E:
Para sintetizar voz personalizada (p. ej., TTS de tiro cero), VALL-E genera los tokens acústicos correspondientes condicionados por los tokens acústicos de la grabación inscrita de tres segundos y el indicador de fonema, que restringen la información del hablante y el contenido. Finalmente, los tokens acústicos generados se utilizan para sintetizar la forma de onda final con el decodificador de códec neuronal correspondiente.
Microsoft entrenó las capacidades de síntesis de voz de VALL-E en una biblioteca de audio ensamblada por Meta llamada LibriLight. Contiene 60 000 horas de habla en inglés de más de 7000 hablantes, en su mayoría extraídos de audiolibros de dominio público de LibriVox. Para que VALL-E genere un buen resultado, la voz en la muestra de tres segundos debe coincidir estrechamente con una voz en los datos de entrenamiento.
