A finales de julio, IA abierta comenzó a implementar una interfaz de voz extrañamente similar a la humana para ChatGPT. un análisis de seguridad Lanzado hoy, la compañía reconoce que esta voz antropomórfica puede inducir a algunos usuarios a vincularse emocionalmente con su chatbot.
Las advertencias están incluidas en una “tarjeta de sistema” para GPT-4o, un documento técnico que describe lo que la compañía cree que son los riesgos asociados con el modelo, además de detalles sobre las pruebas de seguridad y los esfuerzos de mitigación que la compañía está realizando para reducir el riesgo potencial.
OpenAI ha enfrentado escrutinio en los últimos meses después de que varios empleados que trabajan en los riesgos a largo plazo de la IA dejar la empresa. Alguno Posteriormente acusó a OpenAI de tomar riesgos innecesarios y amordazar a los disidentes en su carrera por comercializar la IA. Revelar más detalles del régimen de seguridad de OpenAI puede ayudar a mitigar las críticas y tranquilizar al público de que la empresa se toma el asunto en serio.
Los riesgos explorados en la nueva tarjeta del sistema son de amplio alcance e incluyen la posibilidad de que GPT-4o amplificar los sesgos sociales, difundir desinformacióny ayudar en el desarrollo de armas químicas o biológicasTambién revela detalles de pruebas diseñadas para garantizar que los modelos de IA no intenten liberarse de sus controles, engañar a la gente o planear planes catastróficos.
Algunos expertos externos elogian a OpenAI por su transparencia, pero dicen que podría ir más allá.
Lucie-Aimée Kaffee, investigadora de políticas aplicadas en Hugging Face, una empresa que aloja herramientas de IA, señala que la tarjeta de sistema de OpenAI para GPT-4o no incluye detalles extensos sobre los datos de entrenamiento del modelo ni sobre quién es el propietario de esos datos. “Es necesario abordar la cuestión del consentimiento para crear un conjunto de datos tan grande que abarca múltiples modalidades, incluidos texto, imagen y voz”, dice Kaffee.
Otros señalan que los riesgos podrían cambiar a medida que las herramientas se utilicen en la práctica. “Su revisión interna debería ser solo el primer paso para garantizar la seguridad de la IA”, dice Neil Thompsonprofesor del MIT que estudia las evaluaciones de riesgos de la IA. “Muchos riesgos solo se manifiestan cuando se utiliza la IA en el mundo real. Es importante que estos otros riesgos se cataloguen y evalúen a medida que surgen nuevos modelos”.
La nueva tarjeta del sistema destaca la rapidez con la que evolucionan los riesgos de la IA con el desarrollo de nuevas y potentes funciones como la interfaz de voz de OpenAI. En mayo, cuando La compañía presentó su modo de vozque puede responder rápidamente y manejar interrupciones de forma natural, muchos usuarios notaron que apareció demasiado coqueto en las demostraciones. La empresa más tarde Enfrentó críticas por parte de la actriz Scarlett Johanssonquien la acusó de copiar su estilo de hablar.
Una sección de la tarjeta del sistema titulada “Antropomorfización y dependencia emocional” explora los problemas que surgen cuando los usuarios perciben la IA en términos humanos, algo aparentemente exacerbado por el modo de voz similar al humano. Durante el trabajo en equipo rojo, o prueba de estrés, de GPT-4o, por ejemplo, los investigadores de OpenAI notaron instancias del habla de los usuarios que transmitían una sensación de conexión emocional con el modelo. Por ejemplo, las personas usaban un lenguaje como “Este es nuestro último día juntos”.
El antropomorfismo podría hacer que los usuarios confíen más en el resultado de un modelo cuando éste “alucina” información incorrecta, afirma OpenAI. Con el tiempo, incluso podría afectar las relaciones de los usuarios con otras personas. “Los usuarios podrían establecer relaciones sociales con la IA, reduciendo su necesidad de interacción humana, lo que podría beneficiar a las personas solitarias, pero posiblemente afecte las relaciones saludables”, dice el documento.
Joaquín Quiñonero Candela, responsable de preparación en OpenAI, afirma que el modo de voz podría evolucionar hasta convertirse en una interfaz excepcionalmente potente. También señala que el tipo de efectos emocionales observados con GPT-4o pueden ser positivos, por ejemplo, ayudando a quienes se sienten solos o necesitan practicar interacciones sociales. Añade que la empresa estudiará de cerca el antropomorfismo y las conexiones emocionales, incluso monitoreando cómo interactúan los evaluadores beta con ChatGPT. “No tenemos resultados para compartir en este momento, pero está en nuestra lista de preocupaciones”, dice.
