Muah.AI es un sitio web donde las personas pueden hacer novias AI: chatbots que hablarán por texto o voz y enviarán imágenes de sí mismos a pedido. Casi 2 millones de usuarios se han registrado en el servicio, que describe su tecnología como “sin censura”. Y, a juzgar por los datos supuestamente extraídos del sitio, es posible que las personas estén utilizando sus herramientas en sus intentos de crear material de abuso sexual infantil, o CSAM.
La semana pasada, Joseph Cox, en 404 Mediosfue el primero en informar sobre el conjunto de datosdespués de que un hacker anónimo le llamara la atención. Lo que Cox encontró fue profundamente inquietante: revisó un mensaje que incluía lenguaje sobre orgías que involucraban a “bebés recién nacidos” y “niños pequeños”. Esto indica que un usuario le había pedido a Muah.AI que respondiera a tales escenarios, aunque no está claro si el programa lo hizo. Las principales plataformas de inteligencia artificial, incluido ChatGPT, emplean filtros y otras herramientas de moderación destinadas a bloquear la generación de contenido en respuesta a dichas indicaciones, pero los servicios menos destacados tienden a tener menos escrúpulos.
La gente ha utilizado software de inteligencia artificial para generar imágenes de explotación sexual de personas reales. A principios de este año, aparecieron deepfakes pornográficos de Taylor Swift circulado en incógnita y Facebook. Y los defensores de la seguridad infantil han prevenido En repetidas ocasiones, la IA generativa se está utilizando ampliamente para crear imágenes sexualmente abusivas de niños reales, un problema que ha surgido en las escuelas de todo el país.
El hackeo de Muah.AI es uno de los ejemplos más claros (y más públicos) de un problema más amplio hasta el momento: tal vez por primera vez, la magnitud del problema se está demostrando en términos muy claros.
Hablé con Troy Hunt, un conocido consultor de seguridad y creador del sitio de seguimiento de violaciones de datos. HaveIBeenPwned.comdespués de ver un hilo que publicó en X sobre el truco. A Hunt también le habían enviado los datos de Muah.AI una fuente anónima: al revisarlos, encontró muchos ejemplos de usuarios que solicitaban al programa material de abuso sexual infantil. Cuando buscó los datos para 13 añosrecibió más de 30.000 resultadoss“muchos junto con indicaciones que describen actos sexuales”. Cuando lo intentó prepubescenteél obtuve 26,000 resultadoss. Estima que hay decenas de miles, si no cientos de miles, de solicitudes para crear CSAM dentro del conjunto de datos.
Hunt se sorprendió al descubrir que algunos usuarios de Muah.AI ni siquiera intentaron ocultar su identidad. En un caso, comparó una dirección de correo electrónico de la infracción con un perfil de LinkedIn perteneciente a un ejecutivo de alto nivel de una empresa “muy normal”. “Miré su dirección de correo electrónico y era, literalmente, su nombre y apellido en gmail.com”, me dijo Hunt. “Hay muchos casos en los que las personas intentan ocultar su identidad, y si puedes mover los hilos correctos, descubrirás quiénes son. Pero este tipo ni siquiera lo intentó”. Hunt dijo que el CSAM se asocia tradicionalmente con rincones marginales de Internet. “El hecho de que esto esté en un sitio web convencional es lo que probablemente me sorprendió un poco más”.
El viernes pasado, me comuniqué con Muah.AI para preguntarle sobre el hack. Una persona que administra el servidor Discord de la compañía y se llama Harvard Han me confirmó que un hacker había violado el sitio web. Le pregunté sobre la estimación de Hunt de que en el conjunto de datos pueden haber hasta cientos de miles de indicaciones para crear CSAM. “Eso es imposible”, me dijo. “¿Cómo es eso posible? Piénselo. Tenemos 2 millones de usuarios. No hay forma de que el 5 por ciento sean jodidos pedófilos”. (Es posible, sin embargo, que un número relativamente pequeño de usuarios sea responsable de un gran número de mensajes).
Cuando le pregunté si los datos que tiene Hunt son reales, inicialmente dijo: “Tal vez sea posible. No lo niego”. Pero más adelante en la misma conversación, dijo que no estaba seguro. Han dijo que había estado viajando, pero que su equipo lo investigaría.
El personal del sitio es reducido, recalcó Han una y otra vez, y tiene recursos limitados para monitorear lo que hacen los usuarios. Allí trabajan menos de cinco personas, me dijo. Pero el sitio parece haber construido una base de usuarios modesta: los datos que me proporcionó Similarweb, una empresa de análisis de tráfico, sugieren que Muah.AI ha tenido un promedio de 1,2 millones de visitas al mes durante el último año.
Han me dijo que el año pasado, su equipo implementó un sistema de filtrado que bloqueaba automáticamente las cuentas que usaban ciertas palabras, como adolescentes y niños—en sus indicaciones. Pero, me dijo, los usuarios se quejaron de que se les prohibía injustamente. Después de eso, el sitio ajustó el filtro para dejar de bloquear cuentas automáticamente, pero aún así evitar que se generen imágenes basadas en esas palabras clave, dijo.
Al mismo tiempo, sin embargo, Han me dijo que su equipo no verifica si su empresa está generando imágenes de abuso sexual infantil para sus usuarios. Supone que muchas de las solicitudes para hacerlo son “probablemente denegadas, denegadas, denegadas”, dijo. Pero Han reconoció que los usuarios expertos probablemente podrían encontrar formas de eludir los filtros.
También ofreció una especie de justificación de por qué los usuarios podrían estar intentando generar imágenes que representan a niños en primer lugar: algunos usuarios de Muah.AI que están de duelo por la muerte de familiares acuden al servicio para crear versiones de IA de sus seres queridos perdidos. Cuando señalé que Hunt, el consultor de ciberseguridad, había visto la frase 13 años usado junto con actos sexualmente explícitos, Han respondió: “El problema es que no tenemos los recursos para analizar cada mensaje”. (Después del artículo de Cox sobre Muah.AI, la compañía dijo en una publicación en Discord que planea experimentar con nuevos métodos automatizados para prohibir personas).
En resumen, ni siquiera las personas que dirigen Muah.AI saben lo que hace su servicio. En un momento, Han sugirió que Hunt podría saber más que él sobre lo que hay en el conjunto de datos. El hecho de que sitios como este puedan operar con tan poca consideración por el daño que puedan estar causando plantea la pregunta más importante de si deberían existir, cuando existe tanto potencial de abuso.
Mientras tanto, Han tomó un argumento familiar sobre la censura en la era online y lo llevó a su extremo lógico. “Soy estadounidense”, me dijo. “Creo en la libertad de expresión. Creo que Estados Unidos es diferente. Y creemos que, oye, la IA no debería entrenarse con censura”. Continuó: “En Estados Unidos podemos comprar un arma. Y esta arma puede usarse para proteger la vida, a su familia, a las personas que ama, o puede usarse para tiroteos masivos”.
La ley federal prohíbe las imágenes de pornografía infantil generadas por computadora cuando en dichas imágenes aparecen niños reales. En 2002, la Corte Suprema dictaminó que una prohibición total de la pornografía infantil generada por computadora violaba la Primera Enmienda. Cómo se aplicará exactamente la ley existente a la IA generativa es un área de discusión actoyo debate. Cuando le pregunté a Han sobre las leyes federales relativas al CSAM, Han dijo que Muah.AI solo proporciona procesamiento de IA y comparó su servicio con el de Google. También reiteró que el filtro de palabras de su empresa podría estar bloqueando algunas imágenes, aunque no está seguro.
Pase lo que pase con Muah.AI, estos problemas ciertamente persistirán. Hunt me dijo que nunca había oído hablar de la empresa antes de la infracción. “Y estoy seguro de que hay docenas y docenas más por ahí”. Resulta que Muah.AI tuvo su contenido al revés debido a un hack de datos. La era del abuso infantil barato generado por IA ya está aquí. Lo que alguna vez estuvo oculto en los rincones más oscuros de Internet ahora parece bastante accesible y, lo que es igualmente preocupante, muy difícil de erradicar.
