El nuevo modelo o1 de OpenAI es mejor para planear, y eso pone nervioso al “padrino” de la IA.
Yoshua Bengio, Un científico informático canadiense ganador del premio Turing y profesor de la Universidad de Montreal, dijo a Business Insider en una declaración enviada por correo electrónico que o1 tiene una “capacidad de razonamiento muy superior a la de sus predecesores”.
“En general, la capacidad de engañar es muy peligrosa y deberíamos tener pruebas de seguridad mucho más sólidas para evaluar ese riesgo y sus consecuencias en el caso de o1”, escribió Bengio en el comunicado.
Bengio se ganó el apodo “El padrino de la IA” por su premiada investigación sobre aprendizaje automático con Geoffrey Hinton y Yann LeCun.
OpenAI lanzó su nuevo modelo o1, que está diseñado para pensar más como los humanos, a principios de este mes. Hasta ahora, ha Guardó detalles sobre su proceso de “aprendizaje” cerca del pecho. Los investigadores de la empresa independiente de inteligencia artificial Apollo Research descubrieron que El modelo o1 es mejor mintiendo que los modelos de IA anteriores de OpenAI.
Bengio ha expresado su preocupación por el rápido desarrollo de la IA y ha abogado por medidas legislativas de seguridad como SB 1047 de CaliforniaLa nueva ley, que fue aprobada por la legislatura de California y está a la espera de la firma del gobernador Gavin Newsom, impondría una serie de restricciones de seguridad a los modelos de IA potentes, como obligar a las empresas de IA en California a permitir pruebas de terceros.
Sin embargo, Newsom ha expresado su preocupación por la SB 1047, que dijo Podría tener un “efecto paralizante” sobre la industria.
Bengio dijo a BI que hay “buenas razones para creer” que los modelos de IA podrían desarrollar habilidades de intriga más fuertes, como hacer trampa deliberada y discretamente, y que debemos tomar medidas ahora para “prevenir la pérdida del control humano” en el futuro.
OpenAI dijo en una declaración a Business Insider que la versión preliminar de o1 es segura según su “Marco de preparación”, el método de la compañía para rastrear y evitar que la IA cree eventos “catastróficos”, y está clasificada como de riesgo medio en su “escala cautelosa”.
Según Bengio, la humanidad necesita tener más confianza en que la IA “se comportará como se espera” antes de que los investigadores intenten dar más saltos significativos en la capacidad de razonamiento.
“Eso es algo que los científicos no saben hacer hoy en día”, dijo Bengio en su declaración. “Es por eso que la supervisión regulatoria es necesaria en este momento”.
