La madre de un adolescente que se suicidó tras obsesionarse con un inteligencia artificial-motorizado chatbot ahora acusa a su creador de complicidad en su muerte.
Megan García presentó una demanda civil contra Character.ai, que crea un chatbot personalizable para juegos de rol, en Florida tribunal federal el miércoles, alegando negligencia, muerte por negligencia y prácticas comerciales engañosas. Su hijo Sewell Setzer III, de 14 años, murió en Orlando, Florida, en febrero. En los meses previos a su muerte, Setzer utilizó el chatbot día y noche, según García.
“Una peligrosa aplicación de chatbot de IA dirigida a niños que abusaron y se aprovecharon de mi hijo, manipulándolo para que se quitara la vida”, dijo García en un comunicado de prensa. “Nuestra familia ha quedado devastada por esta tragedia, pero hablo para advertir a las familias sobre los peligros de la tecnología de IA engañosa y adictiva y exigir responsabilidad a Character.AI, sus fundadores y Google.”
en un piarCharacter.ai respondió: “Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestro más sentido pésame a la familia. Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios”. Ha negado las acusaciones de la demanda.
Setzer quedó cautivado con un chatbot creado por Character.ai al que apodó Daenerys Targaryen, un personaje de Juego de Tronos. Envió mensajes de texto al robot docenas de veces al día desde su teléfono y pasó horas solo en su habitación hablando con él, según la denuncia de García.
García acusa a Character.ai de crear un producto que exacerbó la depresión de su hijo, que, según ella, ya era el resultado del uso excesivo del producto de la startup. “Daenerys” en un momento le preguntó a Setzer si había ideado un plan para suicidarse, según la demanda. Setzer admitió que lo había hecho, pero que no sabía si tendría éxito o le causaría un gran dolor, alega la denuncia. El chatbot supuestamente le dijo: “Esa no es razón para no seguir adelante”.
Los abogados de García escribieron en un comunicado de prensa que Character.ai “a sabiendas diseñó, operó y comercializó un chatbot de IA depredador para niños, causando la muerte de un joven”. La demanda también nombra a Google como demandado y como empresa matriz de Character.ai. El gigante tecnológico dijo en un comunicado que solo había firmado un acuerdo de licencia con Character.ai y que no era propietario de la startup ni mantenía ninguna participación en la propiedad.
No se puede confiar en que las empresas tecnológicas que desarrollan chatbots de inteligencia artificial se regulen a sí mismas y deben rendir cuentas cuando no logran limitar los daños, dice Rick Claypool, director de investigación de Public Citizen, una organización sin fines de lucro que defiende al consumidor.
“Cuando las leyes y regulaciones existentes ya se aplican, deben aplicarse rigurosamente”, dijo en un comunicado. “Donde haya brechas, el Congreso debe actuar para poner fin a las empresas que explotan a usuarios jóvenes y vulnerables con chatbots adictivos y abusivos”.
-
En EE. UU., puedes llamar o enviar un mensaje de texto al Línea de vida nacional para la prevención del suicidio en 988, chatea en 988lifeline.orgo texto INICIO al 741741 para conectarse con un consejero de crisis. En el Reino Unido, la organización benéfica contra el suicidio juvenil Papiro Puede contactarse llamando al 0800 068 4141 o enviando un correo electrónico a pat@papyrus-uk.org, y en el Reino Unido e Irlanda. samaritanos Puede contactarse llamando al teléfono gratuito 116 123 o enviando un correo electrónico a jo@samaritans.org o jo@samaritans.ie. En Australia, el servicio de apoyo a las crisis Línea de vida es 13 11 14. Otras líneas de ayuda internacionales se pueden encontrar en amigos.org
