OpenAI perdió a otro investigador de seguridad de la IA con una larga trayectoria y se vio afectado por acusaciones de otro ex investigador de que la compañía violó la ley de derechos de autor en el entrenamiento de sus modelos. Ambos casos plantean serias dudas sobre los métodos, la cultura, la dirección y el futuro de OpenAI.
El miércoles, Miles Brundage, que actualmente lideraba un equipo encargado de pensar en políticas para ayudar tanto a la empresa como a la sociedad en general a prepararse para el advenimiento de la “inteligencia general artificial” o AGI, anunció que dejaría la empresa el viernes después de más más de seis años para poder continuar su trabajo con menos limitaciones.
en un largo Publicación de subpilaBrundage dijo que OpenAI había impuesto límites cada vez más restrictivos a lo que podía decir en las investigaciones publicadas. También dijo que, al fundar o unirse a una organización sin fines de lucro sobre políticas de IA, esperaba ser más eficaz a la hora de advertir a la gente sobre la urgencia en torno a los peligros de la IA, ya que “las afirmaciones en este sentido a menudo se descartan como exageraciones cuando provienen de la industria”.
'La atención que merece la seguridad'
La publicación de Brundage no atacó abiertamente a su futuro ex empleador; de hecho, mencionó al CEO Sam Altman como una de las muchas personas que brindaron “aportes sobre versiones anteriores de este borrador”, pero sí se quejó extensamente sobre Las empresas de IA en general “no necesariamente (dan) a la seguridad de la IA la atención que merece de forma predeterminada”.
“Hay muchas razones para esto, una de las cuales es una desalineación entre los intereses privados y sociales, que la regulación puede ayudar a reducir. También existen dificultades en torno a los compromisos creíbles y la verificación de los niveles de seguridad, que incentivan aún más los recortes”, escribió Brundage. “Se toman atajos en una variedad de áreas, incluida la prevención de producciones alucinadas y sesgadas dañinas, así como la inversión para prevenir los riesgos catastróficos en el horizonte”.
La partida de Brundage extiende una serie de renuncias de alto perfil de OpenAI este año, incluida Mira Murati, su directora de tecnología, así como Ilya Sutskever, cofundador de la compañía y ex director científico, muchas de las cuales estaban explícitamente o probablemente relacionadas. a la postura cambiante de la empresa sobre la seguridad de la IA.
OpenAI se fundó inicialmente como una casa de investigación para el desarrollo de una IA segura, pero con el tiempo la necesidad de una importante financiación externa (recientemente recaudó una ronda de 6.600 millones de dólares en un Valoración de 157 mil millones de dólares—ha inclinado gradualmente la balanza hacia su lado con fines de lucro, lo que probablemente pronto convertirse formalmente El componente estructural dominante de OpenAI.
Los cofundadores Sutskever y John Schulman dejaron OpenAI este año para centrarse en la IA segura. Sutskever fundó su propia empresa y Schulman se unió al archirrival de OpenAI, Anthropic, al igual que Jan Leike, un colega clave de Sutskever que declaró que “en los últimos años, la cultura y los procesos de seguridad (en OpenAI) han pasado a un segundo plano frente a los productos brillantes”.
Ya en agosto quedó claro que alrededor de la mitad parte del personal centrado en la seguridad de OpenAI se había marchado en los últimos meses, y eso fue antes de la dramática salida de Murati, quien con frecuencia tuvo que resolver discusiones entre los investigadores de la empresa que priorizan la seguridad y su equipo comercial más entusiasta, como Fortuna reportado. Por ejemplo, al personal de OpenAI se le dio sólo nueve días para probar la seguridad del potente modo GPT-4o de la empresa antes de su lanzamiento, según fuentes familiarizadas con la situación.
En una señal más del cambio de enfoque de OpenAI en la seguridad, Brundage dijo que el equipo de preparación de AGI que él dirigía se está disolviendo y su personal se “distribuirá entre otros equipos”. Su subequipo de investigación económica pasará a ser responsabilidad del nuevo economista jefe de OpenAI, Ronnie Chatterji, dijo. No especificó cómo se redistribuiría el resto del personal.
También vale la pena señalar que Brundage no es la primera persona en OpenAI que enfrenta problemas con la investigación que desea publicar. Después del dramático y breve derrocamiento de Altman el año pasado por parte de la junta directiva centrada en la seguridad de OpenAI, surgió que Altman le había dicho previamente a la entonces miembro de la junta directiva Helen Toner porque era coautora de un artículo sobre seguridad de la IA que implícitamente criticaba a la empresa.
Modelo insostenible
Las preocupaciones sobre la cultura y el método de OpenAI también se vieron aumentadas por otra historia el miércoles. El New York Times llevaba un pieza importante sobre Suchir Balajiun investigador de IA que pasó casi cuatro años en OpenAI antes de dejarlo en agosto.
Balaji dice que se fue porque se dio cuenta de que OpenAI estaba infringiendo la ley de derechos de autor al entrenar sus modelos con datos protegidos por derechos de autor de la web, y porque decidió que los chatbots como ChatGPT eran más dañinos que beneficiosos para la sociedad.
Una vez más, la transformación de OpenAI de un equipo de investigación a un generador de dinero es central aquí. “Con un proyecto de investigación, en términos generales, puedes entrenar con cualquier dato. Esa era la mentalidad en ese momento”, dijo Balaji al Veces. Ahora afirma que los modelos de IA amenazan la viabilidad comercial de las empresas que generaron esos datos en primer lugar, diciendo: “Éste no es un modelo sostenible para el ecosistema de Internet en su conjunto”.
OpenAI y muchos de sus pares han sido demandados por los titulares de derechos de autor por esa capacitación, que implicó copiar mares de datos para que los sistemas de las empresas pudieran ingerirlos y aprender de ellos. No se cree que esos modelos de IA contengan copias completas de los datos como tales, y rara vez generan copias cercanas en respuesta a las indicaciones de los usuarios; es la copia inicial no autorizada a la que generalmente apuntan las demandas.
La defensa estándar en tales casos es que las empresas acusadas de violar los derechos de autor argumenten que la forma en que utilizan las obras protegidas por derechos de autor debería constituir un “uso justo”: que los derechos de autor no fueron infringidos porque las empresas transformaron las obras protegidas por derechos de autor en otra cosa, sin explotarlas. ; los utilizó de una manera que no compitiera directamente con los titulares originales de los derechos de autor ni les impidiera explotar la obra de manera similar o que sirviera al interés público. La defensa es más fácil de aplicar a casos de uso no comercial y siempre la deciden los jueces caso por caso.
en un miercoles publicación de blogBalaji se sumergió en la ley de derechos de autor de EE. UU. pertinente y evaluó cómo sus pruebas para establecer el “uso justo” se relacionaban con las prácticas de datos de OpenAI. Alegó que la llegada de ChatGPT había afectado negativamente el tráfico a destinos como el sitio de preguntas y respuestas para desarrolladores Stack Overflow, y dijo que la producción de ChatGPT podría en algunos casos sustituir la información encontrada en ese sitio. También presentó un razonamiento matemático que, según afirmó, podría usarse para determinar los vínculos entre la salida de un modelo de IA y sus datos de entrenamiento.
Balaji es informático y no abogado. Y hay muchos abogados de derechos de autor que creen que una defensa del uso legítimo del uso de obras protegidas por derechos de autor en el entrenamiento de modelos de IA debería tener éxito. Sin embargo, la intervención de Balaji sin duda llamará la atención de los abogados que representan a los editores y autores de libros que han demandado a OpenAI por infracción de derechos de autor. Parece probable que su análisis interno termine desempeñando algún papel en estos casos, cuyo resultado podría determinar la economía futura de la IA generativa y posiblemente el futuro de empresas como OpenAI.
Es raro que los empleados de las empresas de IA hagan públicas sus preocupaciones sobre los derechos de autor. Hasta ahora, el caso más significativo probablemente haya sido el de Ed Newton-Rex, que fue jefe de audio en Stability AI antes de dimitir el pasado noviembre con el reclamo que “los modelos de IA generativa actuales pueden claramente usarse para crear obras que compitan con las obras protegidas por derechos de autor en las que se entrenan, por lo que no veo cómo el uso de obras protegidas por derechos de autor para entrenar modelos de IA generativa de esta naturaleza pueda considerarse un uso justo”.
“Construimos nuestros modelos de IA utilizando datos disponibles públicamente, de una manera protegida por el uso legítimo y principios relacionados, y respaldados por precedentes legales de larga data y ampliamente aceptados”, dijo un portavoz de OpenAI en un comunicado. “Consideramos que este principio es justo para los creadores, necesario para los innovadores y fundamental para la competitividad de Estados Unidos”.
'Emocionado de seguir su impacto'
Mientras tanto, el portavoz de OpenAI dijo que el “plan de Brundage de dedicarse a la investigación independiente sobre políticas de IA le brinda la oportunidad de tener un impacto a una escala más amplia, y estamos entusiasmados de aprender de su trabajo y seguir su impacto”.
“Confiamos en que en su nuevo cargo, Miles seguirá elevando el listón de la calidad de la formulación de políticas en la industria y el gobierno”, dijeron.
Brundage había visto reducido el alcance de su trabajo en OpenAI a lo largo de su carrera en la empresa, pasando del desarrollo de metodologías de pruebas de seguridad de la IA y la investigación de cuestiones actuales de gobernanza nacional e internacional relacionadas con la IA a un enfoque exclusivo en el manejo de un potencial sobrehumano. AGI, en lugar de los riesgos de seguridad a corto plazo de la IA.
Mientras tanto, OpenAI ha contratado a un grupo cada vez mayor de expertos en políticas de gran impacto, muchos de ellos con amplia experiencia política, de seguridad nacional o diplomática, para encabezar equipos que analizan diversos aspectos de la gobernanza y las políticas de la IA. Contrató a Anna Makanju, una exfuncionaria de seguridad nacional de la administración Obama que había trabajado en funciones políticas en Starlink de SpaceX y Facebookpara supervisar su contacto inicial con funcionarios gubernamentales tanto en Washington, DC como en todo el mundo. Actualmente es vicepresidenta de impacto global de OpenAI. Más recientemente, contrató al veterano agente político Chris Lehane, que también había desempeñado un papel en comunicaciones y políticas en Airbnbpara ser su vicepresidente de asuntos globales. Chatterji, quien se hace cargo del equipo de economía que anteriormente dependía de Brundage, trabajó anteriormente en varios roles de asesoría en las Casas Blancas del presidente Joe Biden y del presidente Barack Obama y también se desempeñó como economista jefe en el Departamento de Comercio.
No es raro en las empresas de tecnología de rápido crecimiento ver que los primeros empleados ven sus funciones circunscritas por la incorporación posterior de personal de alto nivel. En Silicon Valley, esto a menudo se conoce como “ponerse en capas”. Y, aunque no se menciona explícitamente en la publicación del blog de Brundage, puede ser que la pérdida de su unidad económica a manos de Chatterji, después de la pérdida anterior de algunas de sus investigaciones sobre políticas de IA a corto plazo a manos de Makanju y Lehane, fuera la gota que colmó el vaso. . Brundage no respondió de inmediato a las solicitudes de comentarios para este artículo.
Brundage aprovechó su publicación para exponer las cuestiones en las que se centrará ahora. Estos incluyen evaluar y pronosticar el progreso de la IA; la regulación de la seguridad y protección de la IA de frontera; Los impactos económicos de la IA; la aceleración de casos de uso positivos para la IA; política en torno a la distribución de hardware de IA; y la “gran estrategia general de IA” de alto nivel.
Advirtió que “ni OpenAI ni ningún otro laboratorio de vanguardia” estaba realmente preparado para la llegada de AGI, ni tampoco el mundo exterior. “Para ser claros, no creo que esta sea una declaración controvertida entre los líderes de OpenAI”, subrayó, antes de argumentar que la gente debería seguir trabajando en la empresa siempre y cuando “se tomen en serio el hecho de que sus acciones y declaraciones contribuyen a la cultura de la organización y puede crear dependencias de trayectoria positivas o negativas a medida que la organización comienza a gestionar capacidades extremadamente avanzadas”.
Brundage señaló que OpenAI le había ofrecido financiación, créditos informáticos e incluso acceso temprano al modelo para ayudarlo en su próximo trabajo.
Sin embargo, dijo que aún no había decidido si aceptaría esas ofertas, ya que “pueden comprometer la realidad y/o la percepción de independencia”.
