Desbloquea el Editor's Digest gratis
Roula Khalaf, editora del FT, selecciona sus historias favoritas en este boletín semanal.
Los últimos modelos de OpenAI han aumentado “significativamente” el riesgo de que la inteligencia artificial se utilice indebidamente para crear armas biológicas, reconoció la empresa.
La empresa con sede en San Francisco anunció el jueves sus nuevos modelos, conocidos como o1, y destacó sus nuevas capacidades para razonar, resolver problemas matemáticos difíciles y responder preguntas de investigación científica. Estos avances se consideran un avance crucial en el esfuerzo por crear inteligencia artificial general: máquinas con cognición a nivel humano.
La tarjeta del sistema de OpenAI, una herramienta para explicar cómo opera la IA, decía que los nuevos modelos tenían un “riesgo medio” de problemas relacionados con armas químicas, biológicas, radiológicas y nucleares (CBRN), el riesgo más alto que IA abierta La compañía afirmó que esto significa que la tecnología ha “mejorado significativamente” la capacidad de los expertos para crear armas biológicas.
AI El software con capacidades más avanzadas, como la capacidad de realizar razonamiento paso a paso, plantea un mayor riesgo de mal uso en manos de actores maliciosos, según los expertos.
Yoshua Bengio, profesor de informática en la Universidad de Montreal y uno de los principales científicos de IA del mundo, dijo que si OpenAI ahora representa un “riesgo medio” para las armas químicas y biológicas, “esto solo refuerza la importancia y la urgencia” de una legislación como un proyecto de ley muy debatido en California para regular el sector.
La medida, conocida como SB 1047, exigiría a los fabricantes de los modelos más costosos que tomen medidas para minimizar el riesgo de que sus modelos se utilicen para desarrollar armas biológicas. A medida que los modelos de IA de “frontera” avancen hacia la IAG, los “riesgos seguirán aumentando si no se adoptan las medidas de protección adecuadas”, dijo Bengio. “La mejora de la capacidad de la IA para razonar y utilizar esta habilidad para engañar es especialmente peligrosa”.
Estas advertencias surgen en un momento en que empresas tecnológicas como Google, Meta y Anthropic se apresuran a construir y mejorar sofisticados sistemas de inteligencia artificial, en su búsqueda de crear software que pueda actuar como “agentes” que ayuden a los humanos a completar tareas y navegar por sus vidas.
Estos agentes de IA también son vistos como potenciales fuentes de dinero para las empresas que hasta ahora están luchando con los enormes costos necesarios para entrenar y ejecutar nuevos modelos.
Mira Murati, directora de tecnología de OpenAI, dijo al Financial Times que la compañía estaba siendo particularmente “cautelosa” con la forma en que estaba llevando o1 al público, debido a sus capacidades avanzadas, aunque el producto será ampliamente accesible a través de los suscriptores pagos de ChatGPT y para los programadores a través de una API.
Agregó que el modelo había sido probado por los llamados miembros del equipo rojo —expertos en diversos campos científicos que han intentado romper el modelo— para poner a prueba sus límites. Murati dijo que los modelos actuales funcionaron mucho mejor en las métricas generales de seguridad que los anteriores.
Información adicional de George Hammond en San Francisco
