Un ex empleado de seguridad de OpenAI dijo que la compañía está siguiendo los pasos de White Star Line, la compañía que construyó el Titanic.
“Realmente no quería terminar trabajando para el Titanic de la IA, y por eso renuncié”, dijo William Saunders, quien trabajó durante tres años como miembro del personal técnico en El equipo de superalineación de OpenAI.
“Durante mis tres años en OpenAI, a veces me hacía una pregunta: ¿el camino que estaba siguiendo OpenAI se parecía más al programa Apolo o al Titanic?”, dijo.
Las preocupaciones del ingeniero de software se deben en gran medida al plan de OpenAI de lograr la Inteligencia Artificial General (el punto en el que la IA puede aprender por sí sola) y al mismo tiempo lanzar productos pagos.
“Están en camino de cambiar el mundo y, sin embargo, cuando lanzan algo, sus prioridades son más bien las de una empresa de productos. Y creo que eso es lo que resulta más inquietante”, dijo Saunders.
Apolo contra el Titanic
A medida que Saunders pasaba más tiempo en OpenAI, sentía que los líderes tomaban decisiones más parecidas a “construir el Titanic, priorizando sacar productos más nuevos y brillantes”.
Habría preferido mucho más un estado de ánimo como el actual. El programa espacial Apolo, que caracterizó como un ejemplo de un proyecto ambicioso que “trataba de predecir y evaluar cuidadosamente los riesgos” mientras empujaba los límites científicos.
“Incluso cuando ocurrieron grandes problemas, como el del Apolo 13, tuvieron suficiente redundancia y pudieron adaptarse a la situación para traer a todos de regreso sanos y salvos”, dijo.
El Titanic, por otro lado, fue construido por White Star Line mientras competía con sus rivales para fabricar cruceros más grandes, dijo Saunders.
Saunders teme que, al igual que ocurrió con las medidas de seguridad del Titanic, OpenAI podría estar confiando demasiado en sus medidas e investigaciones actuales para la seguridad de la IA.
“Se trabajó mucho para hacer que el barco fuera seguro y construir compartimentos estancos para poder decir que era insumergible”, dijo. “Pero al mismo tiempo, no había suficientes botes salvavidas para todos. Así que cuando se produjo el desastre, murió mucha gente”.
Es cierto que las misiones Apolo se llevaron a cabo en el contexto de una carrera espacial de la Guerra Fría con Rusia. También implicaron varias víctimas graves, entre ellas Tres astronautas de la NASA que murieron en 1967 debido a un incendio eléctrico durante una prueba.
Saunders explicó su analogía con más detalle en un correo electrónico enviado a Business Insider: “Sí, el programa Apolo tuvo sus propias tragedias. No es posible desarrollar una inteligencia artificial general ni ninguna tecnología nueva sin riesgo alguno. Lo que me gustaría ver es que la empresa tomara todas las medidas razonables posibles para evitar estos riesgos”.
OpenAI necesita más 'botes salvavidas', dice Saunders
Saunders dijo a BI que un “desastre titánico” para la IA podría manifestarse en un modelo que pueda lanzar un ciberataque a gran escala, persuadir a la gente en masa en una campaña o ayudar a construir armas biológicas.
En el corto plazo, OpenAI debería invertir en “botes salvavidas” adicionales, como retrasar el lanzamiento de nuevos modelos de lenguaje para que los equipos puedan investigar los posibles daños, dijo en su correo electrónico.
Mientras estaba en el equipo de superalineación, Saunders dirigió un grupo de cuatro personas dedicadas a comprender cómo se comportan los modelos de lenguaje de IA, algo sobre lo que, según dijo, los humanos no saben lo suficiente.
“Si en el futuro construimos sistemas de IA tan inteligentes o más inteligentes que la mayoría de los humanos, necesitaremos técnicas para poder determinar si estos sistemas esconden capacidades o motivaciones”, escribió en su correo electrónico.
Ilya Sutskever, cofundador de OpenAI, dejó la empresa en junio después de liderar su división de superalineación. JACK GUEZ/AFP vía Getty Images
En su entrevista con Kantrowitz, Saunders agregó que el personal de la empresa a menudo discutía teorías sobre cómo la realidad de que la IA se convierta en una fuerza “tremendamente transformadora” podría llegar en tan solo unos pocos años.
“Creo que cuando la empresa habla de esto, tiene el deber de trabajar para prepararse para ello”, dijo.
Pero hasta ahora está decepcionado con las acciones de OpenAI.
En su correo electrónico a BI, dijo: “Si bien hay empleados en OpenAI que realizan un buen trabajo para comprender y prevenir riesgos, no vi una priorización suficiente de este trabajo”.
Saunders abandonó OpenAI en febrero. La empresa entonces disolvió su equipo de superalineamiento en mayopocos días después de anunciar GPT-4o, su producto de inteligencia artificial más avanzado disponible para el público.
OpenAI no respondió de inmediato a una solicitud de comentarios enviada fuera del horario comercial habitual por Business Insider.
Empresas tecnológicas como OpenAI, Apple, Google y Meta han estado involucradas en una Carrera armamentista de IAlo que desató un furor inversor en lo que se predice ampliamente que será el próximo gran disruptor industrial similar a Internet.
El ritmo vertiginoso de desarrollo ha llevado a algunos empleados y expertos a advertir que se necesita una mayor gobernanza corporativa para evitar futuras catástrofes.
A principios de junio, un grupo de empleados actuales y antiguos de Deepmind y OpenAI de Google, incluido Saunders, publicó un Carta abierta de advertencia que los estándares actuales de supervisión de la industria eran insuficientes para proteger a la humanidad de un desastre.
Mientras tanto, el cofundador y ex científico jefe de OpenAI Ilya Sutskeverquien dirigió la empresa división de superalineamientorenunció más tarde ese mes.
Él fundó otra startup, Safe Superintelligence Inc.que dijo se centraría en la investigación de la IA mientras garantizaba que “la seguridad siempre esté por delante”.
