OpenAI afirma que su último modelo GPT-4o tiene un riesgo “medio”

OpenAI ha lanzado su Tarjeta de sistema GPT-4oun documento de investigación que describe las medidas de seguridad y las evaluaciones de riesgos que realizó la startup antes de lanzar su último modelo.

GPT-4o Se lanzó públicamente en mayo. de este año. Antes de su debut, OpenAI utilizó un grupo externo de red teamers, o expertos en seguridad que intentaban encontrar debilidades en un sistema, para encontrar riesgos clave en el modelo (lo cual es una práctica bastante estándar). Examinaron riesgos como la posibilidad de que GPT-4o creara clones no autorizados de la voz de alguien, contenido erótico y violento, o fragmentos de audio reproducido con derechos de autor. Ahora, se están publicando los resultados.

Según el propio marco de trabajo de OpenAI, los investigadores determinaron que GPT-4o presenta un riesgo “medio”. El nivel de riesgo general se tomó de la calificación de riesgo más alta de cuatro categorías generales: ciberseguridad, amenazas biológicaspersuasión y autonomía del modelo. Todas estas se consideraron de bajo riesgo, excepto la persuasión, donde los investigadores encontraron que algunas muestras de escritura de GPT-4o podrían ser mejores para influir en las opiniones de los lectores que el texto escrito por humanos, aunque las muestras del modelo no fueron más persuasivas en general.

Una portavoz de OpenAI, Lindsay McCallum Rémy, dijo: El borde que la tarjeta del sistema incluye evaluaciones de preparación creadas por un equipo interno, junto con evaluadores externos listado en el sitio web de OpenAI como Model Evaluation and Threat Research (METR) y Apollo Research, que realizan evaluaciones para sistemas de IA.

Además, la empresa está lanzando un modelo multimodal de gran capacidad justo antes de las elecciones presidenciales de Estados Unidos. Existe un claro riesgo potencial de que el modelo propague información errónea por accidente o sea secuestrado por actores maliciosos, incluso si OpenAI espera destacar que la empresa está probando escenarios del mundo real para evitar un uso indebido.

Se han hecho muchos llamamientos para que OpenAI sea más transparente, no solo con los datos de entrenamiento del modelo (¿Se entrena en YouTube?), pero con sus pruebas de seguridad. En California, donde tienen su sede OpenAI y muchos otros laboratorios de IA líderes, el senador estatal Scott Wiener está trabajando para aprobar un proyecto de ley para regular los grandes modelos de lenguaje, incluidas las restricciones que harían que las empresas fueran legalmente responsables si su IA se utiliza de forma perjudicial. Si se aprueba ese proyecto de ley, los modelos de vanguardia de OpenAI tendrían que cumplir con las evaluaciones de riesgo exigidas por el estado antes de que los modelos estén disponibles para uso público. Pero la principal conclusión de la tarjeta del sistema GPT-4o es que, a pesar del grupo de evaluadores y miembros del equipo rojo externos, gran parte de esto depende de que OpenAI se evalúe a sí mismo.