“OpenAI acaba de filtrar la trama de la próxima temporada de Black Mirror”.
Burla de la IA
La semana pasada, OpenAI publicó el “cuadro de mando” del GPT-4o, un informe que detalla las “áreas clave de riesgo” para la empresa último modelo de lenguaje grandey cómo esperan mitigarlos.
En un caso aterrador, OpenAI descubrió que el modo de voz avanzado del modelo, que permite a los usuarios hablar con ChatGPT, imitaba inesperadamente las voces de los usuarios sin su permiso. Ars-Tecnica informes.
“La generación de voz también puede ocurrir en situaciones no adversarias, como cuando usamos esa capacidad para generar voces para el modo de voz avanzado de ChatGPT”, escribió OpenAI en su documentación. “Durante las pruebas, también observamos casos raros en los que el modelo generaba involuntariamente una salida que emulaba la voz del usuario”.
Un clip adjunto muestra el fenómeno, en el que ChatGPT cambia de repente a una versión casi extraña de la voz del usuario después de gritar “¡No!” sin ningún motivo aparente. Es una violación brutal del consentimiento que parece sacada directamente de una película de terror de ciencia ficción.
“OpenAI acaba de filtrar la trama de la próxima temporada de Black Mirror” BuzzFeed Max Woolf, científico de datos tuiteó.
Clon de voz
En su “ficha del sistema”, OpenAI describe la capacidad de su modelo de IA para crear “audio con una voz sintética que suena como la de un humano”. Esa capacidad podría “facilitar daños como un aumento del fraude debido a la suplantación de identidad y podría aprovecharse para difundir información falsa”, señaló la empresa.
GPT-4o de OpenAI no solo tiene la inquietante capacidad de imitar voces, sino también “vocalizaciones no verbales” como efectos de sonido y música.
Al captar ruido en las entradas del usuario, ChatGPT puede decidir que la voz del usuario es relevante para la conversación en curso y ser engañado para clonar la voz, de forma similar a cómo funcionan los ataques de inyección rápida.
Afortunadamente, OpenAI ha descubierto que el riesgo de reproducción de voz no intencionada sigue siendo “mínimo”. La empresa también ha bloqueado la generación de voz no intencionada limitando al usuario a las voces que OpenAI creó en colaboración con actores de voz.
“Mi interpretación de la tarjeta del sistema es que no será posible engañarla para que use una voz no aprobada porque tienen una protección de fuerza bruta realmente sólida contra eso”, dijo el investigador de inteligencia artificial Simon Willison. Ars.
“Imagínense lo divertido que sería con el modelo sin filtro”, añadió. “Me molesta que no pueda cantar. Estaba deseando que le cantara canciones estúpidas a mi perro”.
Más información sobre ChatGPT: ¿Por qué se van los empleados más destacados de OpenAI?
