WAV: The WAves (and wrinkles) of our Voice

Los avances tecnológicos en la síntesis de voz mediante redes neuronales profundas plantean importantes desafíos en el ámbito forense y de la seguridad ciudadana. Los deepfakes de audio son réplicas casi indistinguibles de la voz humana que pueden emplearse con fines perniciosos, generando graves daños tanto a nivel colectivo (p. ej., desinformación o manipulación de campañas electorales) como individual (p. ej., difamación o estafas).

En este contexto, resulta imprescindible desarrollar detectores de deepfakes que sean robustos en distintas condiciones y generalicen adecuadamente entre idiomas. Sin embargo, este objetivo aún está lejos de alcanzarse, ya que la mayoría de lenguas se encuentran infrarrepresentadas o ausentes en las bases de datos actualmente utilizadas para el entrenamiento y desarrollo de detectores, siendo el inglés la lengua predominante. Esto afecta directamente al rendimiento de los sistemas de detección en lenguas distintas del inglés.

A partir de esta carencia nace el objetivo general del proyecto: crear una base de datos de deepfakes de audio en lengua española destinada al entrenamiento de detectores automáticos con el fin de mejorar la resiliencia de los sistemas de ciberseguridad en el ámbito del habla hispana.

A su vez, este objetivo general se concreta en los siguientes objetivos específicos:

• - Confeccionar un corpus de voces genuinas y sintéticas en español que sea amplio, diverso y realista. Esto implica seleccionar una muestra que cubra una amplia diversidad demográfica y que incluya voces no normofónicas (voces disfónicas y disprosódicas). De esta manera, se pretende capturar las imperfecciones de la voz connaturales en cualquier individuo (the wrinkles of our voice).
  
• - Comprobar si la clonación de voces disfónicas y disprosódicas puede alcanzar niveles adecuados de inteligibilidad, naturalidad y aceptabilidad.
• - Identificar las características prosódicas presentes en voces auténticas que no pueden ser replicadas por los sistemas de síntesis y que, por consiguiente, pueden funcionar como rasgos discriminatorios.
  
• - Estudiar la aceptabilidad y naturalidad de las clonaciones de voces en inglés con acento español (inglés como L2) para explorar las posibles aplicaciones de la síntesis de voz en la enseñanza-aprendizaje de idiomas.