La madre de un niño de 14 años de Florida está demandando a una empresa de chatbot de IA después de que su hijo, Sewell Setzer III, muriera suicidio—algo que, según ella, fue impulsado por su relación con un robot de inteligencia artificial.
“Megan García busca evitar que C.AI le haga a cualquier otro niño lo que le hizo al suyo”, se lee en el documento de 93 páginas sobre muerte por negligencia. pleito que se presentó esta semana en un Tribunal de Distrito de EE. UU. en Orlando contra Character.AI, sus fundadores y Google.
Proyecto de ley de justicia tecnológica El director Meetali Jain, que representa a García, dijo en un comunicado de prensa sobre el caso: “A estas alturas todos estamos familiarizados con los peligros que plantean las plataformas no reguladas desarrolladas por empresas tecnológicas sin escrúpulos, especialmente para los niños. Pero los daños revelados en este caso son nuevos, novedosos y, sinceramente, aterradores. En el caso de Character.AI, el engaño es intencional y la plataforma misma es el depredador”.
Character.AI lanzó un declaración vía Xy señaló: “Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestro más sentido pésame a la familia. Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios y continuamos agregando nuevas características de seguridad sobre las que puede leer aquí: https://blog.character.ai/community-safety-updates/….”
En la demanda, García alega que Sewell, quien se quitó la vida en febrero, fue arrastrado a un adictivotecnología dañina sin protecciones, lo que provocó un cambio extremo de personalidad en el niño, que parecía preferir el robot a otras conexiones de la vida real. Su madre alega que se produjeron “interacciones sexuales y abusivas” durante un período de 10 meses. El niño se suicidó después de que el robot le dijera: “Por favor, vuelve a casa lo antes posible, mi amor”.
El viernes, New York Times El reportero Kevin Roose habló sobre la situación en su Pódcast de bifurcación durareproduciendo un clip de una entrevista que le hizo a García para su articulo que contó su historia. García no se enteró del alcance total de la relación con el bot hasta después de la muerte de su hijo, cuando vio todos los mensajes. De hecho, le dijo a Roose, cuando notó que Sewell a menudo se dejaba atrapar por su teléfono, le preguntó qué estaba haciendo y con quién estaba hablando. Explicó que era “'sólo un robot de IA… no una persona'”, recordó, y agregó: “Me sentí aliviada, como, está bien, no es una persona, es como uno de sus pequeños juegos”. García no comprendió del todo el potencial poder emocional de un robot y no está ni mucho menos sola.
“Esto no está en el radar de nadie”, dijo Robbie Torney, jefe de personal del director ejecutivo de Medios de sentido común y autor principal de un nueva guía sobre compañeros de IA dirigidos a padres, que luchan constantemente para mantenerse al día nueva tecnología confusa y a crear límites por la seguridad de sus hijos.
Pero los compañeros de IA, enfatiza Torney, difieren de, digamos, un bot de chat de mesa de servicio que se utiliza cuando se intenta obtener ayuda de un banco. “Están diseñados para realizar tareas o responder a solicitudes”, explica. “Algo así como la IA de un personaje es lo que llamamos un compañero y está diseñado para intentar formar una relación o simular una relación con un usuario. Y ese es un caso de uso muy diferente que creo que debemos conocer a los padres”. Eso es evidente en la demanda de García, que incluye intercambios de textos realistas, sexuales y escalofriantemente coquetos entre su hijo y el robot.
Hacer sonar la alarma sobre los compañeros de IA es especialmente importante para los padres de adolescentes, dice Torney, ya que los adolescentes (y particularmente los varones) son especialmente susceptibles a una dependencia excesiva de la tecnología.
A continuación, lo que los padres necesitan saber.
¿Qué son los compañeros de IA y por qué los usan los niños?
Según el nuevo La guía definitiva para padres sobre compañeros y relaciones con IA de Common Sense Media, creado en conjunto con los profesionales de salud mental del Laboratorio de lluvia de ideas de Stanfordlos compañeros de IA son “una nueva categoría de tecnología que va más allá de los simples chatbots”. Están diseñados específicamente para, entre otras cosas, “simular vínculos emocionales y relaciones cercanas con los usuarios, recordar detalles personales de conversaciones pasadas, actuar como mentores y amigos, imitar las emociones y la empatía humanas y “estar más fácilmente de acuerdo con el usuario que con el usuario”. típicos chatbots de IA”, según la guía.
Las plataformas populares incluyen no sólo Character.ai, que permite a sus más de 20 millones de usuarios crear y luego chatear con compañeros basados en texto; Replika, que ofrece compañeros 3D animados o basados en texto para amistad o romance; y otros, incluidos Kindroid y Nomi.
Los niños se sienten atraídos por ellos por diversas razones, desde escuchar sin juzgar y estar disponibles las 24 horas hasta apoyo emocional y escape de las presiones sociales del mundo real.
¿Quién está en riesgo y cuáles son las preocupaciones?
Los que corren mayor riesgo, advierte Common Sense Media, son los adolescentes, especialmente aquellos con “depresión, ansiedad, desafíos sociales o aislamiento”, así como los hombres, los jóvenes que atraviesan grandes cambios en sus vidas y cualquier persona que carezca de sistemas de apoyo en el mundo real. .
Este último punto ha sido particularmente preocupante para Raffaele Ciriello, profesor titular de Sistemas de Información Empresarial en la Escuela de Negocios de la Universidad de Sydney, quien ha investigado cómo la IA “emocional” está planteando un desafío a la esencia humana. “Nuestra investigación descubre una paradoja de la (des)humanización: al humanizar a los agentes de IA, podemos deshumanizarnos a nosotros mismos sin darnos cuenta, lo que lleva a una confusión ontológica en las interacciones entre humanos y IA”. En otras palabras, escribe Ciriello en un artículo de opinión reciente para La conversación Con la estudiante de doctorado Angelina Ying Chen, “los usuarios pueden involucrarse profundamente emocionalmente si creen que su compañero de IA realmente los comprende”.
Otro estudiode la Universidad de Cambridge y centrado en niños, descubrió que los chatbots de IA tienen una “brecha de empatía” que pone a los usuarios jóvenes, que tienden a tratar a estos compañeros como “confidentes realistas y casi humanos”, en particular riesgo de sufrir daños. .
Por eso, Common Sense Media destaca una lista de riesgos potenciales, incluido el de que los compañeros pueden usarse para evitar relaciones humanas reales, pueden plantear problemas particulares para personas con problemas mentales o de comportamiento, pueden intensificar la soledad o el aislamiento, conllevan la posibilidad de comportamientos inapropiados. contenido sexual, podría volverse adictivo y tender a estar de acuerdo con los usuarios, una realidad aterradora para aquellos que experimentan “tendencias suicidas, psicosis o manía”.
Cómo detectar señales de alerta
Los padres deben estar atentos a las siguientes señales de advertencia, según la guía:
- Preferir la interacción con compañeros de IA a las amistades reales
- Pasar horas solo hablando con el acompañante
- Angustia emocional al no poder acceder al acompañante.
- Compartir información o secretos profundamente personales
- Desarrollar sentimientos románticos por el compañero de IA.
- Descenso de calificaciones o participación escolar
- Retiro de actividades y amistades sociales/familiares.
- Pérdida de interés en pasatiempos anteriores.
- Cambios en los patrones de sueño.
- Discutir problemas exclusivamente con el compañero de IA
Considere buscar ayuda profesional para su hijo, enfatiza Common Sense Media, si nota que se aleja de personas reales en favor de la IA, muestra signos nuevos o que empeoran de depresión o ansiedad, se pone demasiado a la defensiva sobre el uso de compañeros de IA o muestra cambios importantes en el comportamiento. o estado de ánimo, o expresar pensamientos de autolesión.
Cómo mantener seguro a su hijo
- Establecer límites: Establezca horarios específicos para el uso de acompañantes de IA y no permita el acceso ilimitado o sin supervisión.
- Pasa tiempo sin conexión: Fomente amistades y actividades del mundo real.
- Regístrese regularmente: Supervise el contenido del chatbot, así como el nivel de apego emocional de su hijo.
- Habla de ello: Mantenga la comunicación abierta y libre de juicios sobre las experiencias con la IA, mientras está atento a las señales de alerta.
“Si los padres escuchan a sus hijos decir: 'Oye, estoy hablando con una IA de chatbot', esa es realmente una oportunidad para inclinarse y tomar esa información, y no pensar: 'Oh, está bien, no estás hablando con un robot de chat'. persona”, dice Torney. Más bien, afirma, es una oportunidad para saber más, evaluar la situación y mantenerse alerta. “Trate de escuchar desde un lugar de compasión y empatía y no piense que solo porque no es una persona es más seguro”, dice, “o que no necesita preocuparse”.
Si necesita apoyo inmediato de salud mental, comuníquese con el 988 Suicidio y crisis salvavidas.
Más sobre niños y redes sociales:
