Character.AI ha implementado nuevas funciones y políticas de seguridad para crear e interactuar con las personalidades virtuales impulsadas por IA que alberga. Las nuevas medidas tienen como objetivo hacer que la plataforma sea más segura para todos los usuarios, pero especialmente para los más jóvenes. La actualización incluye más control sobre cómo los menores interactúan con la IA. chatbotmás moderación de contenido y mejor detección de la IA que discute temas como la autolesión.
Aunque no se cita en la publicación del blog sobre la actualización, Character AI se vinculó al anuncio en una publicación en X expresando sus condolencias a la familia de un niño de 14 años que pasó meses interactuando con uno de los chatbots de Character.AI antes de quitarse la vida. . Su familia ha presentado una demanda contra Character.AI por muerte por negligencia, citando la falta de salvaguardias para los chatbots de IA como factor que contribuyó a su suicidio.
Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestro más sentido pésame a la familia. Como empresa, nos tomamos muy en serio la seguridad de nuestros usuarios y continuamos agregando nuevas características de seguridad sobre las que puede leer aquí:…23 de octubre de 2024
Barandillas de chat de IA
La publicación de Character AI presentó varias características de seguridad nuevas para la plataforma. Por ejemplo, si el modelo detecta palabras clave relacionadas con el suicidio o la autolesión, mostrará una ventana emergente instando al usuario a acudir a la Línea Nacional de Prevención del Suicidio y a los recursos relacionados. La IA también será mejor para detectar y eliminar contenido inapropiado en una conversación, con especial sensibilidad cuando los usuarios son menores de 18 años.
Presumiblemente, los menores ya tendrían contenido restringido en las conversaciones, pero Character.AI puede haber aumentado aún más esa sensibilidad. En los casos en los que esto no sea suficiente, se han eliminado chatbots completos.
“Llevamos a cabo detección y moderación proactivas de personajes creados por usuarios, incluido el uso de listas de bloqueo personalizadas y estándar de la industria que se actualizan periódicamente. Eliminamos de manera proactiva y en respuesta a los informes de los usuarios los personajes que violan nuestros Términos de servicio”, explicó Character.AI. en su puesto. “Los usuarios pueden notar que recientemente eliminamos un grupo de personajes que han sido marcados como infractores, y estos se agregarán a nuestras listas de bloqueo personalizadas en el futuro”.
Otras características nuevas tienen más que ver con ayudar a los usuarios terrestres. Por lo tanto, verás una notificación cuando hayas pasado una hora en la plataforma preguntándote si quieres continuar como una forma de ayudarte a no perder la noción del tiempo. También verás descargos de responsabilidad más destacados que enfatizan que la IA no es una persona real. Ya existen tales descargos de responsabilidad en las conversaciones, pero Character.AI quiere que sea imposible de ignorar.
Estas características de seguridad son la otra cara de la forma en que Character.AI ha hecho que interactuar con los chatbots sea más como hablar con una persona real, incluidas las voces y las conversaciones de voz bidireccionales disponibles con el Llamadas de personajes característica. Aún así, es probable que la compañía esté interesada en garantizar que sus servicios sean lo más seguros posible, y sus movimientos podrían informar cómo otros en el espacio dan forma a sus propios personajes de chatbot de IA.
