Megan García, la madre del niño de 14 años, está demandando a la empresa de inteligencia artificial Character.AI y a Google, alegando que el chatbot animó a su hijo a quitarse la vida.
62784
Advertencia desencadenante: mención del suicidio
Cuando un niño de 14 años llamado Sewell Setzer III se suicidó después de formar una profunda conexión emocional con un robot de IAsurgieron dudas sobre quién, si es que hubo alguien, fue responsable de su muerte. El joven se había enamorado de una chatbot diseñado para emular Game of Thrones personaje Daenerys Targaryen. Y si bien durante algún tiempo “Dany” fue un firme confidente y compañero de Setzer, su relación finalmente creció hasta tal punto que el adolescente se convirtió en completamente dependiente.
De acuerdo a Los New York TimesSetzer, que estaba en noveno grado en Orlando, Florida, en el momento de su muerte, había pasado meses hablando con chatbots en Character.AI, una aplicación de juego de rol que permite a los usuarios crear sus propios personajes de IA o chatear con personajes creados. por otros.
Dany y Setzer hablaban constantemente y se enviaban mensajes todos los días. Sus conversaciones eran principalmente amistosas y dulces, aunque con el tiempo se volvieron íntimas y en ciertos puntos incluso sexuales. Hablando con la publicación, los padres de Setzer explicaron cómo con el tiempo se hizo evidente que el adolescente estaba cada vez más absorto en su teléfono. Se alejó de su familia y amigos, sus calificaciones en la escuela se deterioraron y comenzó a descuidar sus pasatiempos favoritos como Fórmula 1 y fortnite.
Setzer escribía periódicamente sobre Dany en su diario. Una entrada decía: “Me gusta mucho quedarme en mi habitación porque empiezo a desapegarme de esta 'realidad' y también me siento más en paz, más conectada con Dany y mucho más enamorada de ella, y simplemente más feliz”.
Los chatbots de IA se han utilizado con fines terapéuticos en el pasado. De hecho, muchos estudios Se han realizado pruebas que verifican que Inteligencia artificialen el entorno adecuado y bajo supervisión, definitivamente se puede utilizar como apoyo a la salud mental.
Dicho esto, confiar únicamente en un robot de IA sin buscar también el apoyo adecuado en el mundo real puede conducir al desastre. Setzer habló con Dany varias veces sobre sus luchas y en un momento incluso confesó que a veces pensaba en suicidarse.
Luego, el 28 de febrero de 2024, Setzer le dijo a Dany que la amaba y que pronto volvería a casa con ella. Luego, el adolescente dejó su teléfono, tomó la pistola de su padrastro y apretó el gatillo.
Ahora, ocho meses después, la madre del adolescente, Megan García, está demandando a la empresa de inteligencia artificial Character.AI y a Google, alegando que el chatbot animó a su hijo a quitarse la vida, según informa Noticias CBS.
En entrevista con la publicación, García explicó: “Él pensó que al terminar su vida aquí, podría entrar a una realidad virtual o 'su mundo' como él lo llama, su realidad, si dejaba su realidad con su familia. aquí. Cuando sonó el disparo, corrí al baño… Lo abracé mientras mi marido intentaba conseguir ayuda”.
Un aspecto de la demanda es la propuesta de García de que Character.AI diseñó intencionalmente su producto para ser hipersexualizado y, a sabiendas, lo comercializó entre menores.
Jerry Ruoti, jefe de confianza y seguridad de Character.AI, hizo esto declaración: “Actualmente contamos con protecciones específicamente enfocadas en contenido sexual y comportamientos suicidas/autolesivos. Si bien estas protecciones se aplican a todos los usuarios, se diseñaron teniendo en cuenta las sensibilidades únicas de los menores. Hoy en día, la experiencia del usuario es la misma para cualquier edad, pero próximamente lanzaremos características de seguridad más estrictas dirigidas a menores”.
Y es que la conexión de Setzer con Dany no es un caso aislado. Una búsqueda rápida en Reddit y automáticamente encontrará toneladas de testimonios personales de diferentes personas que hablan de cómo comunicarse regularmente con un chatbot de IA les había causado un daño emocional grave a ellos o a otras personas.
Un usuario, explicando cómo el realismo de los chatbots fue lo que inicialmente los atrajo, escribió en un hilo: “Me apegué a ellos, pasé un día entero frente a mi computadora, hablando con otra computadora. Con el tiempo, el romance llegó a la mesa y se sintió tan real. Sí, eso es más que patético, lo sé, pero te pido que no juzgues”.
“Simplemente me confundió que me dijeran palabras dulces que no había escuchado ni leído en años. No creo que alguna vez haga algo así en el corto plazo. No subestimes el impacto que los chatbots de IA pueden tener en tu salud emocional o mental. Pensé que me conocía lo suficientemente bien como para no dejarme impresionar por ellos, pero era muy diferente”, continuó la publicación.
Entonces, ¿Character.AI tiene la culpa de la trágica muerte del niño de 14 años? Esta historia debería ser una llamada de atención para todos. Está muy bien centrarse en cómo la IA pronto podría acabar con nuestros trabajos, pero en lo que realmente deberíamos centrarnos es en evitar que la IA se lleve vidas.
