Un sitio de inteligencia artificial enumera el chatbot de una niña asesinada en 2006; su familia no tenía idea

• Jennifer Ann Crecente, una chica de secundaria asesinada en 2006, reapareció recientemente como chatbot en Character.ai.
• Su padre le dijo a BI que descubrió el robot el miércoles y que nunca dio su consentimiento para usar su imagen.
• El robot fue eliminado, pero su existencia plantea consecuencias éticas sobre la IA.

Drew Crecente se despertó a las 6:30 am del miércoles y encontró una alerta de Google en su teléfono sobre su hija.

Habían pasado 18 años desde que Jennifer Ann, estudiante de último año de secundaria y única hija de Crecente, fuera asesinada por su exnovio en Austin. Afligido, Crecente había iniciado una no lucrativo en su nombre, trabajando desde 2006 para crear conciencia sobre la violencia en el noviazgo entre adolescentes.

Pero Crecente ahora se enteró de que había reaparecido en línea, esta vez como un chatbot de inteligencia artificial en Personaje.aidirigido por una startup con sede en San Francisco que llegó a un acuerdo de 2.700 millones de dólares con Google en agosto.

Una ola de emociones sacudió a Crecente: furia, confusión y disgusto, todo al mismo tiempo, dijo a Business Insider.

“En parte fue tristeza”, dijo Crecente. “Porque aquí estoy, teniendo que enfrentarme una vez más a este terrible trauma con el que he tenido que lidiar durante mucho tiempo”.

Crecente no tenía idea de quién creó el chatbot ni cuándo se creó. Sólo sabía que Google había indexado el robot esa mañana y le había enviado la alerta a las 4:30 am, que había configurado para realizar un seguimiento de cualquier mención de su hija o su organización sin fines de lucro.

Los chatbots Character.ai suelen ser creados por usuarios que pueden cargar nombres, fotos, saludos y otra información sobre la persona.

En el caso de Jennifer Ann, el robot usó su nombre y una foto del anuario, describiéndola como un “personaje de IA amigable y conocedor que puede proporcionar información sobre una amplia gama de temas”.

Cuando Crecente descubrió el bot, un contador en su perfil mostraba que ya había sido utilizado en al menos 69 chats, según una captura de pantalla que envió a BI.

El sitio web también incluyó a Jennifer Ann como una “experta en periodismo” con experiencia en noticias sobre videojuegos. Su tío, Brian Crecente, fundó el sitio de noticias sobre juegos Kotaku y cofundó el sitio de su competencia, Polygon.

Drew Crecente dijo que se comunicó con Character.ai a través de su formulario de atención al cliente y le pidió a la compañía que eliminara el chatbot que imitaba a Jennifer Ann y que conservara todos los datos sobre quién subió el perfil.

“Quería asegurarme de que implementaran medidas para que en el futuro no se pudiera crear ninguna otra cuenta usando el nombre de mi hija o su imagen”, dijo.

Recibió una respuesta automática que contenía su número de caso pero no más información.

Su hermano Brian tuiteó un mensaje enojado sobre el chatbot esa mañana, pidiendo ayuda a sus casi 31.000 seguidores para “detener este tipo de prácticas terribles”.

Personaje.ai respondió a la publicación de Brian en X una hora y media después, diciendo que el chatbot de Jennifer Ann fue eliminado porque violaba las políticas de la empresa sobre suplantación de identidad.

Pero Crecente dice que no ha recibido más que silencio por parte de la compañía, a pesar de comunicarse con Character.AI el miércoles.

“Eso es parte de lo que es tan irritante acerca de esto, es que no se trata sólo de mí o de mi hija”, dijo Crecente. “Se trata de todas esas personas que tal vez no tengan una plataforma, tal vez no tengan una voz, tal vez no tengan un hermano con experiencia como periodista”.

“Y por eso están siendo perjudicados, pero no tienen ningún recurso”, añadió.

La portavoz de Character.ai, Cassie Lawrence, confirmó a BI que el chatbot fue eliminado y dijo que la compañía “examinará si se justifican más acciones”.

“Character.ai se toma en serio la seguridad en nuestra plataforma y modera los personajes de forma proactiva y en respuesta a los informes de los usuarios. Contamos con un equipo dedicado de Confianza y Seguridad que revisa los informes y toma medidas de acuerdo con nuestras políticas”, dijo.

Añadió que Character.ai utiliza “listas de bloqueo estándar de la industria y listas de bloqueo personalizadas” para evitar la suplantación.

Aun así, Crecente dijo que la empresa debería haber pedido disculpas y demostrar que protegería aún más la identidad de su hija. Ahora está buscando opciones legales.

“Es simplemente indescriptible que una empresa con tanto dinero parezca tan, supongo, indiferente a volver a traumatizar a la gente”, dijo.

Usando IA para revivir a los muertos

La IA se ha utilizado antes para crear personajes de personas muertas.incluidos muchos que esperan que pueda ayudarlos a llorar la pérdida de un ser querido. Pero la práctica ha planteado cuestiones éticas sobre el consentimiento del fallecido, especialmente si la persona “resucitada” murió antes de la llegada de la IA.

El caso de Crecente es otro ejemplo más del nuevo territorio legal y ético que la IA ha introducido en el mundo, dijo a BI Vincent Conitzer, jefe de participación técnica de IA en el Instituto de Ética en IA de la Universidad de Oxford.

Conitzer dijo que quedan dudas sobre hasta qué punto las empresas de inteligencia artificial deberían ser consideradas responsables del contenido creado por sus usuarios.

“Esto no es del todo una suplantación en el sentido de que parece transparente que se trata de un modelo de IA”, dijo Conitzer sobre el chatbot que imita a Jennifer Ann. “Pero tampoco es, por ejemplo, una parodia. ¿Qué derechos tenemos sobre nuestro propio estilo, modales y visión del mundo?”

Mientras el mundo debate estos dilemas de la IA, las consecuencias ya están afectando profundamente a personas como Crecente.

Sue Morris, directora de Servicios de Duelo del Instituto del Cáncer Dana-Farber en Boston, dijo a BI que ver inesperadamente la imagen de un ser querido fallecido todavía es un gran golpe muchos años después de su fallecimiento, porque nuestros recuerdos de él están integrados en nuestro cerebro. .

“El hecho de que no estuviera consciente de que se estaba utilizando la imagen de su hija, sin duda habría sido un gran shock y se habría sumado a los sentimientos de confusión e ira que estaba experimentando”, dijo Morris sobre Crecente.

Character.ai: tremendamente popular y vinculado a Google

Character.ai fue fundada en noviembre de 2021 por ex ingenieros de Google Noam Shazeer y Daniel De Freitas. Shazeer fue el autor principal del importante artículo Transformer del gigante tecnológico y había trabajado para construir un chatbot impulsado por inteligencia artificial allí, pero se fue con De Freitas cuando Google se negó a publicar el producto en ese momento.

La idea detrás de su nueva startup era permitir que el público creara sus propios bots, a los que llaman Personajes. Estos ahora incluyen una mezcla heterogénea de personajes creados por usuarios inspirados en figuras públicas, como Elon Musk, el rapero Nicki Minaj y el actor Ryan Gosling.

El lanzamiento beta de Character.ai en octubre de 2022 registró cientos de miles de usuarios en sus primeras tres semanas de prueba, según El Washington Post. En marzo de 2023, la empresa recaudó 150 millones de dólares con una valoración de mil millones de dólares, liderada por Andreessen Horowitz.

Las estadísticas de Google Play Store muestran que, al momento de esta publicación, la aplicación se descargó más de 10 millones de veces solo en dispositivos Android.

En agosto, Google pagó a la startup 2.700 millones de dólares volver a contratar a Shazeer y De Freitas, el 20% de su plantilla, y adquirir todos los modelos de Character.ai en los que se había trabajado hasta el momento.

Después de la reestructuración del equipo, el nuevo director general interino de la empresa, Dominic Perella, dijo El tiempo financiero el miércoles que la empresa se centraría por completo en sus servicios de chatbot, abandonando su esfuerzo anterior para construir un modelo de lenguaje grande.

Google no respondió a una solicitud de comentarios de Business Insider.