OhEl director ejecutivo de penAI, Sam Altman, se retira del comité interno que la empresa creó para asesorar a su junta directiva sobre decisiones “críticas de seguridad” en medio de la carrera por desarrollar una tecnología de inteligencia artificial cada vez más poderosa.
El comité, formado en mayo, había estado evaluando los procesos y las salvaguardas de OpenAI durante un período de 90 días. OpenAI publicado Las recomendaciones del comité tras la evaluación del 16 de septiembre. La primera en la lista: establecer una gobernanza independiente para la seguridad y la protección.
Por tanto, Altman, que además de formar parte del consejo de administración de OpenAI supervisa las operaciones comerciales de la empresa en su función de director ejecutivo, ya no formará parte del comité de seguridad. De acuerdo con las recomendaciones del comité, OpenAI afirma que el nuevo comité independiente estará presidido por Zico Kolter, director del Departamento de Aprendizaje Automático de la Universidad Carnegie Mellon, que se incorporó al consejo de administración de OpenAI en agosto. Otros miembros del comité serán Adam D'Angelo, cofundador y director ejecutivo de Quora, el general retirado del ejército estadounidense Paul Nakasone y la expresidenta de Sony Entertainment Nicole Seligman. Junto con Altman, el presidente del consejo de administración de OpenAI, Bret Taylor, y varios de los expertos técnicos y de políticas de la empresa también dejarán de formar parte del comité.
Leer más: Las 100 personas más influyentes en inteligencia artificial según TIME en 2024
Otras recomendaciones del comité incluyen mejorar las medidas de seguridad, ser transparente sobre el trabajo de OpenAI y unificar los marcos de seguridad de la empresa. También dijo que exploraría más oportunidades para colaborar con organizaciones externas, como las que se utilizan para evaluar la serie de modelos de razonamiento o1 recientemente publicada por OpenAI para capacidades peligrosas.
El Comité de Seguridad y Protección no es el primer intento de OpenAI de crear una supervisión independiente. La rama con fines de lucro de OpenAI, creada en 2019, está controlada por una entidad sin fines de lucro con una “Mayoría independiente” junta, encargada de garantizar que actúe de acuerdo con su misión de desarrollar políticas seguras y ampliamente beneficiosas inteligencia general artificial (AGI)—un sistema que supera a los humanos en la mayoría de los aspectos.
En noviembre, la junta directiva de OpenAI despidió a Altman, dicho que no había sido “siempre sincero en sus comunicaciones con la junta, lo que obstaculizó su capacidad para ejercer sus responsabilidades”. Después de que los empleados y los inversores se rebelaran (y el miembro de la junta y presidente de la empresa Greg Brockman renunciara), fue rápidamente reinstalado. como director ejecutivo y miembros de la junta Tónico HelenTasha McCauley e Ilya Sutskever renunciaron. Brockman luego regresó como presidente de la compañía.
Leer más: Cronología de todas las acusaciones recientes dirigidas contra OpenAI y Sam Altman
El incidente puso de relieve un desafío clave para la empresa, que crece rápidamente. Los críticos, entre ellos Toner y McCauley, sostienen que tener una junta directiva formalmente independiente no es suficiente contrapeso a los fuertes incentivos de ganancias que enfrenta la empresa. A principios de este mes, Reuters informó que los esfuerzos de recaudación de fondos en curso de OpenAI, que podrían catapultar su valoración a 150 mil millones de dólarespodría depender del cambio de su estructura corporativa.
Toner y McCauley afirman que la independencia de la junta directiva no es suficiente y que los gobiernos deben desempeñar un papel activo en la regulación de la IA. “Incluso con las mejores intenciones, sin supervisión externa, este tipo de autorregulación terminará siendo inaplicable”, afirmaron los ex miembros de la junta. escribió en The Economist en mayo, reflexionando sobre el desastre de la sala de juntas de OpenAI en noviembre.
En el pasado, Altman ha instó regulación de los sistemas de IA, pero OpenAI también presionó contra el proyecto de ley de IA de California, que impondría protocolos de seguridad para los desarrolladores. En contra de la posición de la empresa, más de 30 empleados actuales y anteriores de OpenAI han apoyado públicamente la factura.
La creación del Comité de Seguridad y Protección a finales de mayo siguió a un mes particularmente tumultuoso para OpenAI. Ilya Sutskever y Jan Leikelos dos líderes de la empresa “superalineamientoEl equipo, que se centró en garantizar que si los sistemas de IA superan la inteligencia de nivel humano, permanezcan bajo control humano, renunció. Leike acusado OpenAI prioriza los “productos llamativos” por sobre la seguridad en una publicación en X. El equipo se disolvió después de su partida. El mismo mes, OpenAI llegó Bajo fuego por pedir a los empleados que se iban que firmaran acuerdos que les impidieran criticar a la empresa o perder su capital adquirido. (OpenAI más tarde dicho que estas disposiciones no se habían aplicado ni se aplicarían y que se eliminarían de todos los trámites de salida en el futuro).
