SAlgunos de los principales laboratorios de IA del mundo adolecen de medidas de seguridad inadecuadas, y el peor infractor es el xAI de Elon Musk, según un nuevo estudio.
La organización francesa sin fines de lucro SaferAI publicó el miércoles sus primeras calificaciones evaluando las prácticas de gestión de riesgos de las principales empresas de IA. Siméon Campos, fundador de SaferAI, dice que el propósito de las calificaciones es desarrollar un estándar claro sobre cómo las empresas de IA manejan el riesgo a medida que estos sistemas incipientes crecen en potencia y uso. Los sistemas de IA ya han demostrado su capacidad para hackear sitios web de forma anónima o ayudar a las personas a desarrollar armas biológicas. Los gobiernos han tardado en implementar marcos: un proyecto de ley de California para regular la industria de la IA allí acaba de ser vetado por el gobernador Gavin Newsom.
“La IA es una tecnología que avanza extremadamente rápido, pero la gestión de riesgos de la IA no avanza al mismo ritmo”, afirma Campos. “Nuestras calificaciones están aquí para llenar un vacío mientras no tengamos gobiernos que realicen evaluaciones por sí mismos.
Para calificar a cada empresa, los investigadores de SaferAI evaluaron el “equipo rojo” de modelos (esfuerzos técnicos para encontrar fallas y vulnerabilidades), así como las estrategias de las empresas para modelar amenazas y mitigar riesgos.
De las seis empresas calificadas, xAI ocupó el último lugar, con una puntuación de 0/5. Meta y Mistral AI también fueron etiquetadas como con una gestión de riesgos “muy débil”. OpenAI y Google Deepmind recibieron calificaciones “débiles”, mientras que Anthropic lideró el grupo con una puntuación “moderada” de 2,2 sobre 5.
Leer más: El centro de datos de inteligencia artificial de Elon Musk genera alarmas.
xAI recibió la puntuación más baja posible porque apenas han publicado nada sobre gestión de riesgos, dice Campos. Espera que la empresa preste atención al riesgo ahora que su modelo Grok 2 compite con Chat-GPT y otros sistemas. “Mi esperanza es que sea transitorio: que publiquen algo en los próximos seis meses y luego podamos actualizar su calificación en consecuencia”, dice.
Campos dice que las calificaciones podrían presionar a estas empresas para que mejoren sus procesos internos, lo que potencialmente podría disminuir el sesgo de los modelos, reducir la difusión de información errónea o hacerlos menos propensos a ser utilizados indebidamente por actores maliciosos. Campos también espera que estas empresas apliquen algunos de los mismos principios adoptados por industrias de alto riesgo como la energía nuclear, la bioseguridad y la seguridad de la aviación. “A pesar de que estas industrias se ocupan de objetos muy diferentes, tienen principios y marcos de gestión de riesgos muy similares”, afirma.
El marco de calificación de SaferAI fue diseñado para ser compatible con algunos de los estándares de IA más importantes del mundo, incluidos los establecidos por la Ley de IA de la UE y el Proceso de Hiroshima del G7. SaferAI es parte del Consorcio de seguridad de IA de EE. UU.que fue creado por la Casa Blanca en febrero. La organización sin fines de lucro está financiada principalmente por la organización tecnológica sin fines de lucro Founders Pledge y el inversor Jaan Tallinn.
Yoshua Bengio, una de las figuras más respetadas en IA, respaldó el sistema de calificación y escribió en un comunicado que espera que “garantice la seguridad de los modelos que (las empresas) desarrollan e implementan… No podemos permitir que califiquen sus propios deberes”. .”
Corrección, 2 de octubre: La versión original de esta historia indicaba erróneamente cómo SaferAI calificó a las empresas. Sus investigadores evaluaron los procedimientos de “equipo rojo” de los modelos; no realizaron su propio equipo rojo.
