El jueves, OpenAI lanzó el “Tarjeta del sistema” para el nuevo ChatGPT GPT-4o Modelo de IA que detalla las limitaciones del modelo y los procedimientos de prueba de seguridad. Entre otros ejemplos, el documento revela que en raras ocasiones durante las pruebas, el modelo Modo de voz avanzado Imitaron involuntariamente las voces de los usuarios sin permiso. Actualmente, OpenAI cuenta con medidas de seguridad que evitan que esto suceda, pero el caso refleja la creciente complejidad de diseñar de forma segura un chatbot de IA que podría imitar cualquier voz de un pequeño clip.
El modo de voz avanzado es una función de ChatGPT que permite a los usuarios tener conversaciones habladas con el asistente de IA.
En una sección de la tarjeta del sistema GPT-4o titulada “Generación de voz no autorizada”, OpenAI detalla un episodio en el que una entrada ruidosa de alguna manera provocó que el modelo imitara repentinamente la voz del usuario. “La generación de voz también puede ocurrir en situaciones no adversarias, como nuestro uso de esa capacidad para generar voces para el modo de voz avanzado de ChatGPT”, escribe OpenAI. “Durante las pruebas, también observamos casos raros en los que el modelo generaba involuntariamente una salida que emulaba la voz del usuario”.
En este ejemplo de generación de voz no intencional proporcionado por OpenAI, el modelo de IA dice “¡No!” y continúa la oración con una voz que suena similar a la del “red teamer” que se escucha al principio del clip. (Un red teamer es una persona contratada por una empresa para realizar pruebas adversas).
Sin duda sería espeluznante estar hablando con una máquina y que, de repente, esta empiece a hablarte con tu propia voz. Normalmente, OpenAI tiene salvaguardas para evitar esto, por lo que la empresa dice que esta situación era poco frecuente incluso antes de que desarrollara formas de evitarla por completo. Pero el ejemplo llevó al científico de datos de BuzzFeed, Max Woolf, a piar“OpenAI acaba de filtrar la trama de la próxima temporada de Black Mirror”.
Inyecciones de indicaciones de audio
¿Cómo es posible que se produzca una imitación de voz con el nuevo modelo de OpenAI? La pista principal se encuentra en otra parte de la tarjeta de sistema GPT-4o. Para crear voces, GPT-4o aparentemente puede sintetizar casi cualquier tipo de sonido que se encuentre en sus datos de entrenamiento, incluidos efectos de sonido y música (aunque OpenAI desalienta ese comportamiento con instrucciones especiales).
Como se indica en la tarjeta del sistema, el modelo puede imitar básicamente cualquier voz basándose en un breve clip de audio. OpenAI guía esta capacidad de forma segura al proporcionar una muestra de voz autorizada (de un actor de voz contratado) que se le indica que debe imitar. Proporciona la muestra en el modelo de IA Indicador del sistema (lo que OpenAI llama el “mensaje del sistema”) al comienzo de una conversación. “Supervisamos las finalizaciones ideales utilizando la muestra de voz en el mensaje del sistema como voz base”, escribe OpenAI.
En los LLM de solo texto, el mensaje del sistema iUn conjunto oculto de instrucciones de texto que guía el comportamiento del chatbot y que se agrega al historial de conversaciones de manera silenciosa justo antes de que comience la sesión de chat. Las interacciones sucesivas se agregan al mismo historial de chat y todo el contexto (a menudo llamado “ventana de contexto”) se devuelve al modelo de IA cada vez que el usuario proporciona una nueva entrada.
(Probablemente sea hora de actualizar este diagrama creado a principios de 2023 a continuación, pero muestra cómo funciona la ventana de contexto en un chat de IA. Solo imagina que el primer mensaje es un mensaje del sistema que dice cosas como “Eres un chatbot útil. No hablas sobre actos violentos, etc.”)
Benj Edwards / Ars Technica
Dado que GPT-4o es multimodal y puede procesar audio tokenizado, OpenAI también puede usar entradas de audio como parte del mensaje del sistema del modelo, y eso es lo que hace cuando OpenAI proporciona una muestra de voz autorizada para que el modelo la imite. La empresa también utiliza otro sistema para detectar si el modelo está generando audio no autorizado. “Solo permitimos que el modelo use ciertas voces preseleccionadas”, escribe OpenAI, “y usamos un clasificador de salida para detectar si el modelo se desvía de eso”.
