YouTube está desarrollando una función de inteligencia artificial para generar sincronización de labios para sus videos doblados automáticamente. La tecnología tiene como objetivo mejorar el realismo modificando los movimientos de la boca del hablante para alinearlos con las pistas de audio traducidas, con la intención de aumentar la participación del espectador. De acuerdo a Tendencias digitalesla base técnica del sistema, como detalla el líder de producto de doblaje automático de YouTube, Buddhika Kottahachchi, se basa en una IA personalizada. Kottahachchi explicó que la tecnología ejecuta cambios complejos a nivel de píxeles en la boca del hablante en pantalla para crear sincronización con el audio doblado. El modelo de IA incorpora una percepción tridimensional de las estructuras faciales, lo que le permite analizar la geometría de los labios y los dientes. También está diseñado para interpretar y replicar expresiones faciales que acompañan al habla. Este enfoque de modelado 3D permite que el sistema simule con mayor precisión los movimientos físicos necesarios para hablar en un idioma diferente. En su fase inicial, la función de sincronización de labios tendrá limitaciones técnicas y lingüísticas específicas. Actualmente, el procesamiento de IA está restringido a videos con una resolución de 1080p y no se puede aplicar a contenido 4K. La compatibilidad con idiomas en el lanzamiento se limitará a inglés, francés, alemán, portugués y español. Después de este período introductorio, YouTube planea ampliar el soporte a más de 20 idiomas. Esta expansión está diseñada para alinear la función de sincronización de labios con la gama completa de idiomas que ofrece actualmente el servicio de doblaje automático de YouTube. YouTube no ha anunciado una fecha de lanzamiento firme para la función. Se espera que la compañía introduzca primero la tecnología a través de un programa piloto con un pequeño grupo de creadores, una estrategia que refleja el lanzamiento de la función de doblaje automático. Ese servicio de doblaje automático se amplió a una audiencia más amplia apenas el mes pasado, lo que indica que la adición de sincronización de labios podría pasar por un período de prueba prolongado. Los creadores recibirán controles para administrar su uso, incluida la opción informada de desactivar la función para todo su canal o para videos individuales, dándoles la última palabra sobre la presentación de su contenido. La función puede tener un costo adicional, aunque no se ha fijado un precio específico. No se ha determinado si el creador o el consumidor correrá con la tarifa, pero los informes sugieren que probablemente será el consumidor. Para abordar posibles usos indebidos, YouTube planea implementar medidas de seguridad. Estos incluyen una divulgación descriptiva para informar a los espectadores sobre la alteración de la IA y una huella digital invisible y persistente incrustada en el video. Esta marca de agua digital se describe como similar en función a SynthID, una herramienta utilizada para identificar contenido generado por IA, que proporciona un mecanismo de seguimiento y autenticación. YouTube no es la única plataforma que desarrolla esta tecnología. Meta tiene una iniciativa comparable para su plataforma Instagram, donde lanzó un programa piloto el año pasado para doblar y sincronizar los labios de Reels. Si bien los detalles sobre el éxito del programa son limitados, recientemente se amplió para admitir cuatro idiomas: inglés, hindi, portugués y español. https://www.youtube.com/watch?v=8W3noE2Uxag
