El nuevo sistema de AI podría hacer que la duplicación de Lip Sync sea precisa

El doblaje de sincronización de labios dudoso pronto podría convertirse en una cosa del pasado, ya que los investigadores han desarrollado un sistema basado en Inteligencia Artificial (AI) que puede editar las expresiones faciales de los actores para que coincidan con precisión las voces dobladas.

El sistema, llamado Deep Video Portraits, también se puede usar para corregir la mirada y la pose de la cabeza en videoconferencias, y permite nuevas posibilidades para postproducción de video y efectos visuales, según la investigación presentada en la conferencia SIGGRAPH 2018 en Vancouver, Canadá.

“Esta técnica también podría utilizarse para la postproducción en la industria del cine, donde la edición gráfica de caras por computadora ya es ampliamente utilizada en las películas de hoy”, dijo el coautor del estudio Christian Richardt de la Universidad de Bath en Gran Bretaña.

Los investigadores creen que el nuevo sistema podría ayudar a la industria del cine a ahorrar tiempo y reducir los costos de postproducción.

A diferencia de los métodos anteriores que se centran solamente en los movimientos del interior de la cara, los Deep Video Portraits también pueden animar toda la cara, incluidos los ojos, las cejas y la posición de la cabeza en videos, utilizando controles conocidos de la animación gráfica de computadora.

Incluso puede sintetizar un fondo de video estático plausible si se mueve la cabeza.

“Funciona mediante el uso de la captura de desempeño facial en 3D basada en modelos para registrar los movimientos detallados de las cejas, la boca, la nariz y la posición de la cabeza del actor de doblaje en un video”, dijo uno de los investigadores Hyeongwoo Kim del Instituto Max Planck de Informática en Alemania.

“Luego transpone estos movimientos al actor ‘objetivo’ en la película para sincronizar con precisión los labios y los movimientos faciales con el nuevo audio”, agregó Hyeongwoo.

La investigación se encuentra actualmente en la etapa de prueba de concepto y aún debe trabajar en tiempo real, sin embargo, los investigadores anticipan que el enfoque podría marcar una diferencia real en la industria del entretenimiento visual.

“A pesar de la extensa manipulación posterior a la producción, el doblaje de películas a idiomas extranjeros siempre presenta una falta de coincidencia entre el actor en la pantalla y la voz doblada”, dijo el profesor Christian Theobalt, del Instituto Max Planck de Informática.

“Nuestro nuevo enfoque de Deep Video Portrait nos permite modificar la apariencia de un actor objetivo al transferir la pose de la cabeza, las expresiones faciales y el movimiento de los ojos con un alto nivel de realismo”, agregó Theobalt.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *