Una algoritmo desarrollado por el Instituto Tecnológico de Massachusetts, MIT, en Estados Unidos, ha sido capaz de reconstruir el aspecto del rostro de una persona tomando como punto de partida únicamente su voz.
El laboratorio de Ciencias Informáticas e Inteligencia Artificial del MIT (MIT CSAIL) ha publicado Speech2Face, «De habla a cara» en español, una herramienta que a través de un extracto breve de habla es capaz de determinar factores como la edad, el género y la etnia de una persona.
Los autores del estudio han asegurado que su objetivo «no es reconstruir una imagen precisa de la persona, sino más bien recuperar características físicas que están correlacionadas con el habla».
Este proyecto busca saber hasta qué punto es posible conocer el aspecto de una persona a partir de su voz, y se inspira en la manera en que las personas construimos modelos de los rasgos de alguien de quien solamente conocemos su voz.
Speech2Face funciona a través de una red neuronal de aprendizaje profundo diseñada y entrenada a partir de la base de datos abierta AVSpeech, compuesta por más de 100.000 personas hablando en fragmentos cortos de 6 segundos.
Para demostrar sus resultados, la investigación ha utilizado también la base de datos VoxCeleb, formada por millones de videos publicados en Internet en los que aparecen 7.000 personas famosas en entrevistas, en fragmentos cortos de por lo menos 3 segundos.
La imagen generada es la del rostro de una persona de frente, con gesto neutro, y se han expuesto junto a imágenes reales de los famosos en los videos para mostrar el parecido con el original.
Durante el entrenamiento, el modelo del estudio aprende de los videos de la base de datos correlaciones de audio y sonido entre las voces de las personas y sus caras, centrándose en atributos físicos como la edad, el género y la etnia, pero añadiendo también otros como varias medidas y proporciones craneofaciales.
El funcionamiento de Speech2Face tiene lugar de manera no supervisada, haciendo uso solamente de las relaciones entre habla y aspecto observadas en los videos.
Resultados y precisión
Posteriormente, los autores del estudio han analizado las correlaciones estadísticas que existen entre los rasgos faciales y las voces, con 94% de precisión a la hora de determinar el género.
Los resultados de identificación de personas de etnias blancas y asiáticas han sido buenos, según los investigadores, pero no tanto en los casos de personas de raza negra o de India, posiblemente debido a su menor presencia en las bases de datos.
En el caso de los atributos craneofaciales, el mayor índice de correlación con el habla y el aspecto se ha encontrado en la nariz y en la boca, resultados indicativos de que «la estructura de la nariz determina el habla».