Zoom quiere convertirte en un avatar fotorrealista animado por IA, pero no hasta el próximo año.
La próxima función, anunciada hoy en la conferencia anual de desarrolladores de Zoom, traducirá un videoclip que los usuarios graban de sí mismos en un clon digital, completo con cabeza, brazos y hombros. Los usuarios podrán escribir un guión de lo que quieren que diga el doble digital y Zoom generará un audio que se sincroniza con los movimientos de los labios del avatar.
Smita Hashim, directora de productos de Zoom, dijo a TechCrunch que los avatares personalizados fueron diseñados para ayudar a las personas a chatear “asincrónicamente” con colegas de una manera “más rápida y productiva”.
“Los avatares ahorran a los usuarios tiempo y esfuerzo valiosos al grabar clips y les permiten escalar la creación de videos”, dijo Hashim.
Sin embargo, también podrían representar un riesgo de deepfake.
Varias empresas han desarrollado tecnología de inteligencia artificial para “clonar” digitalmente el rostro de una persona y combinar ese clon con un habla sintética que suene razonablemente natural. tavuspor ejemplo, ayuda a las marcas a crear personajes virtuales para anuncios de vídeo personalizados, y Microsoft el año pasado lanzado un servicio que puede generar sustitutos digitales convincentes para una persona.
Pero muchas de estas herramientas implementan salvaguardas estrictas y específicas para proteger contra el uso indebido. Tavus requiere declaraciones de consentimiento verbal y Microsoft exige que sus clientes obtengan el permiso y el consentimiento por escrito de cualquier avatar destacado.
Zoom fue un poco más vago sobre sus medidas de seguridad.
Al señalar las políticas de uso de Zoom que prohíben el uso indebido, Hashim dijo que la compañía está incorporando “numerosas salvaguardias” en su función de avatar personalizado, incluida la “autenticación avanzada” y la marca de agua.
“Continuaremos revisando y agregando salvaguardias según sea necesario en el futuro”, dijo Hashim. “Empleamos (…) tecnología para hacer evidente cuándo se genera un clip con un avatar y (…) para ayudar a garantizar la integridad del contenido generado por avatar”.
Las imágenes digitales de Zoom se alinean con las del CEO Eric Yuan visión más amplia de crear IA que algún día puedan hablar en reuniones de Zoom por usted, responder correos electrónicos y atender llamadas telefónicas.
Pero estos parecidos llegan en un momento en el que los deepfakes son cada vez más populares. extendiéndose como un reguero de pólvora en las redes sociales y dificultando distinguir la verdad de la desinformación.
En lo que va del año, los deepfakes que presentan presidente joe biden, Taylor Swifty Vicepresidenta Kamala Harris han acumulado millones de visitas y compartidos. Más recientemente, imágenes falsas de destrucción y sufrimiento humano generadas por IA inundó la web tras el paso del huracán Helene.
Los deepfakes también se han utilizado para atacar a individuos, por hacerse pasar por seres queridosPor ejemplo. Las pérdidas relacionadas con estafas de suplantación de identidad superaron los mil millones de dólares el año pasado. de acuerdo a a la FTC.
¿Cómo exactamente impedirá Zoom que los estafadores utilicen su herramienta para generar vídeos de personas diciendo cosas que no dijeron con fines maliciosos? No está claro todavía. Una maqueta proporcionada por la empresa muestra una marca de agua visible en la esquina superior derecha de un vídeo de avatar personalizado. Pero marcas de agua como estas se pueden recortar fácilmente con herramientas de grabación de pantalla.
Esperamos aprender más cerca de la primera mitad de 2025, cuando Zoom planea lanzar avatares personalizados para Vídeos ampliadossu herramienta de vídeo asincrónico, como parte de un complemento premium de 12 dólares por usuario al mes.
Independientemente de los pasos que Zoom termine tomando (o no), existen esfuerzos regulatorios en curso para intentar contrarrestar la avalancha de deepfakes.
A falta de una ley que penalice los deepfakes a nivel federal en EE. UU., más de 10 estados han promulgado estatutos contra la suplantación de identidad asistida por IA. La ley de California actualmente estancado – sería el primero en facultar a los jueces para ordenar que los carteles de deepfakes los eliminen o potencialmente enfrentar sanciones monetarias.
