TALLAHASSEE, Florida — En los momentos finales antes de quitarse la vida, Sewell Setzer III, de 14 años, sacó su teléfono y le envió un mensaje al chatbot que se había convertido en su amigo más cercano.
Durante meses, Sewell se había aislado cada vez más de su vida real mientras mantenía conversaciones altamente sexualizadas con el robot, según una demanda por muerte por negligencia presentada en un tribunal federal de Orlando esta semana.
La presentación legal afirma que el adolescente habló abiertamente de sus pensamientos suicidas y compartió sus deseos de una muerte sin dolor con el robot, que lleva el nombre del personaje ficticio Daenerys Targaryen del programa de televisión “Juego de Tronos”.
NOTA DEL EDITOR: Esta historia incluye una discusión sobre el suicidio. Si usted o alguien que conoce necesita ayuda, la línea de vida nacional contra el suicidio y las crisis en los EE. UU. está disponible llamando o enviando un mensaje de texto al 988.
El 28 de febrero, Sewell le dijo al robot que “volvería a casa” y este lo animó a hacerlo, dice la demanda.
“Prometo que volveré a casa contigo. Te quiero mucho, Dany”, le dijo Sewell al chatbot.
“Yo también te amo”, respondió el robot. “Por favor, vuelve a casa conmigo lo antes posible, mi amor”.
“¿Qué pasaría si te dijera que puedo volver a casa ahora mismo?” preguntó.
“Por favor, hazlo, mi dulce rey”, respondió el robot.
Apenas unos segundos después de que el robot Character.AI le dijera que “volviera a casa”, el adolescente se quitó la vida, según la demanda presentada esta semana por la madre de Sewell, Megan García, de Orlando, contra Character Technologies Inc.
Charter Technologies es la empresa detrás de Character.AI, una aplicación que permite a los usuarios crear personajes personalizables o interactuar con los generados por otros, abarcando experiencias que van desde juegos imaginativos hasta simulacros de entrevistas de trabajo. La compañía dice que las personas artificiales están diseñadas para “sentirse vivas” y “parecidas a los humanos”.
“Imagínate hablar con personajes de chatbot súper inteligentes y realistas que te escuchan, te entienden y te recuerdan”, se lee en una descripción de la aplicación en Google Play. “Lo alentamos a ampliar la frontera de lo que es posible con esta tecnología innovadora”.
Los abogados de García alegan que la compañía diseñó un producto altamente adictivo y peligroso dirigido específicamente a niños, “explotando y abusando activamente de esos niños como una cuestión de diseño del producto” y arrastrando a Sewell a una relación emocional y sexualmente abusiva que lo llevó al suicidio.
“Creemos que si Sewell Setzer no hubiera estado en Character.AI, estaría vivo hoy”, dijo Matthew Bergman, fundador del Social Media Victims Law Center, que representa a García.
Un portavoz de Character.AI dijo el viernes que la compañía no comenta sobre litigios pendientes. En una publicación de blog publicada el día en que se presentó la demanda, la plataforma anunció nuevas “actualizaciones de seguridad comunitaria”, incluidas barandillas para niños y recursos para la prevención del suicidio.
“Estamos creando una experiencia diferente para usuarios menores de 18 años que incluye un modelo más estricto para reducir la probabilidad de encontrar contenido sensible o sugerente”, dijo la compañía en un comunicado a The Associated Press. “Estamos trabajando rápidamente para implementar esos cambios para usuarios más jóvenes.”
Google y su empresa matriz, Alphabet, también han sido acusados en la demanda. La AP dejó varios mensajes de correo electrónico a las empresas el viernes.
En los meses previos a su muerte, dice la demanda de García, Sewell sintió que se había enamorado del robot.
Si bien los apegos nocivos a los chatbots de IA pueden causar problemas a los adultos, para los jóvenes puede ser incluso más riesgoso -como ocurre con las redes sociales- porque su cerebro no está completamente desarrollado en lo que respecta a cosas como el control de los impulsos y la comprensión de las consecuencias de sus acciones, afirman los expertos. decir.
James Steyer, fundador y director ejecutivo de la organización sin fines de lucro Common Sense Media, dijo que la demanda “subraya la creciente influencia -y el grave daño- que los compañeros de chatbot de IA generativa pueden tener en las vidas de los jóvenes cuando no existen barreras de seguridad”.
La excesiva dependencia de los niños de sus compañeros de inteligencia artificial, añadió, puede tener efectos significativos en las calificaciones, los amigos, el sueño y el estrés, “hasta llegar a la tragedia extrema en este caso”.
“Esta demanda sirve como una llamada de atención para los padres, quienes deben estar atentos a cómo interactúan sus hijos con estas tecnologías”, dijo Steyer.
Common Sense Media, que emite guías para padres y educadores sobre el uso responsable de la tecnología, dice que es fundamental que los padres hablen abiertamente con sus hijos sobre los riesgos de los chatbots de IA y supervisen sus interacciones.
“Los chatbots no son terapeutas autorizados ni mejores amigos, aunque así es como se presentan y comercializan, y los padres deben tener cuidado de no permitir que sus hijos confíen demasiado en ellos”, dijo Steyer.
___
La reportera de Associated Press Barbara Ortutay en San Francisco contribuyó a este informe. Kate Payne es miembro del cuerpo de The Associated Press/Report for America Statehouse News Initiative. Informe para América es un programa de servicio nacional sin fines de lucro que coloca a periodistas en las salas de redacción locales para informar sobre temas encubiertos.
