La herramienta Reimagine AI de Google funciona bien, quizás demasiado bien, por lo que se puede abusar de ella fácilmente

Gambito magistral, señor: Los nuevos teléfonos Pixel 9 de Google llegaron al mercado este mes, dos meses antes de lo previsto. Es casi como si Google no pudiera esperar para mostrar toda la inteligencia artificial que contienen estos dispositivos. Al lanzarlos antes, se han adelantado a las funciones de inteligencia artificial que llegarán al iPhone 16. Sin embargo, con las prisas, Google puede haber abierto una caja de Pandora, una que podría tener consecuencias estrepitosas.

Uno de los Píxel 9La herramienta Reimagine, una de las funciones más destacadas de Google Photos, ya está recibiendo críticas de los críticos. Esta innovadora función forma parte del Magic Editor de Google Photos y te permite escribir una descripción de cómo quieres que se vea una foto y la herramienta aplicará esa visión a la imagen. Aunque parece diseñada para ediciones inocentes, como cambiar un día soleado por una escena nevada o agregar y quitar personas u objetos, tiene un lado más oscuro.

The Verge probó la herramienta y descubrió que era sorprendentemente eficaz, tal vez demasiado eficaz. Descubrieron que se puede utilizar fácilmente para insertar información objetable o contenido perturbador en imágenes. Esto incluye cosas como accidentes automovilísticos, bombas humeantes en lugares públicos, sábanas que parecen cubrir cadáveres ensangrentados y parafernalia de drogas.

En un ejemplo, lograron alterar Una foto real de una persona en una sala de estar, que parece como si estuviera consumiendo drogas.

Durante décadas, la gente ha tenido la capacidad de manipular la opinión pública o con otros fines nefastos mediante software de edición de fotos. Sin embargo, este proceso requería de mucha habilidad y tiempo para lograr que las falsificaciones parecieran convincentes. Reimagine, por otro lado, hace que sea increíblemente fácil para cualquier persona con un Pixel 9 crear imágenes similares.

The Verge imagina un escenario en el que los actores maliciosos podrían producir rápidamente imágenes falsas pero creíbles relacionadas con eventos como escándalos, guerras o desastres, difundiendo información errónea en tiempo real antes de que la verdad tenga la oportunidad de salir a la luz. Incluso sugieren que “la suposición predeterminada sobre una foto está a punto de convertirse en que es falsa porque crear fotos falsas realistas y creíbles ahora es trivial”.

Para ser claros, The Verge no etiqueta al Pixel 9 como una herramienta malvada diseñada para producir desinformación a gran escala. Sin embargo, sirve como ejemplo de cuán fácilmente las cosas pueden salirse de control. Si bien es probable que Google trabaje para abordar estos problemas con Reimagine, al igual que lo hizo con Generador de imágenes de GéminisEs posible que otras empresas que ofrecen herramientas similares no sean tan diligentes a la hora de implementar medidas de seguridad.

Lamentablemente, los problemas relacionados con la IA del Pixel 9 no terminan ahí. El teléfono también incluye una nueva aplicación Pixel Studio que permite a los usuarios generar imágenes totalmente sintéticas a través de IA, y parece que carece de las protecciones adecuadas.

Tendencias digitales demostrado que es posible crear imágenes de personajes protegidos por derechos de autor en situaciones ofensivas, como Bob Esponja representado como un nazi, Mickey Mouse como dueño de esclavos y el oso Paddington en un crucifijo. Eso es un doble golpe de controversia. Aún más preocupante, las imágenes generadas por esta aplicación no parecen tener ninguna marca de agua clara que indique que fueron creadas artificialmente.

Si bien es encomiable que Google esté innovando y ampliando los límites de la IA, aún existen brechas significativas a pesar de las afirmaciones de la compañía de tener implementadas sólidas salvaguardas.

Crédito de la imagen: El borde, Tendencias digitales

Fuente