Actualización: El Comité de Asignaciones de California aprobó la SB 1047 con modificaciones significativas que cambian el proyecto de ley el jueves 15 de agosto. Puede Lea sobre ellos aquí.
Aparte de las películas de ciencia ficción, no hay precedentes de sistemas de inteligencia artificial que hayan matado a personas o se hayan utilizado en ciberataques masivos. Sin embargo, algunos legisladores quieren implementar salvaguardas antes de que los malos actores conviertan ese futuro distópico en realidad. Un proyecto de ley de California, conocido como SB 1047, intenta detener los desastres del mundo real causados por sistemas de inteligencia artificial antes de que sucedan. Fue aprobado por el Senado del estado en agosto y ahora espera la aprobación o el veto del gobernador de California, Gavin Newsom.
Si bien este parece un objetivo en el que todos podemos estar de acuerdo, la SB 1047 ha provocado la ira de los actores grandes y pequeños de Silicon Valley, incluidos los capitalistas de riesgo, los grandes grupos comerciales de tecnología, los investigadores y los fundadores de empresas emergentes. En este momento, hay muchos proyectos de ley sobre inteligencia artificial en todo el país, pero la Ley de Innovación Segura y Protegida para Modelos de Inteligencia Artificial de Frontera de California se ha convertido en uno de los más controvertidos. He aquí por qué.
¿Qué haría la SB 1047?
La SB 1047 intenta evitar que se utilicen grandes modelos de IA para causar “daños críticos” contra la humanidad.
El proyecto de ley da ejemplos de “daños críticos” como el uso por parte de un mal actor de un modelo de IA para crear un arma que cause víctimas masivas, o la instrucción de alguien para orquestar un ciberataque que cause más de 500 millones de dólares en daños (a modo de comparación, la interrupción de CrowdStrike es estimado El proyecto de ley hace que los desarrolladores, es decir, las empresas que desarrollan los modelos, sean responsables de implementar protocolos de seguridad suficientes para evitar resultados como estos.
¿Qué modelos y empresas están sujetas a estas normas?
Las reglas de la SB 1047 solo se aplicarían a los modelos de IA más grandes del mundo: aquellos que cuestan al menos 100 millones de dólares y utilizan 10^26 FLOPS (operaciones de punto flotante, una forma de medir la computación) durante el entrenamiento. Se trata de una enorme cantidad de computación, aunque el director ejecutivo de OpenAI, Sam Altman, dijo GPT-4 cuesta aproximadamente esto para entrenar. Estos umbrales podrían elevarse según sea necesario.
En la actualidad, muy pocas empresas han desarrollado productos de IA públicos lo suficientemente grandes como para satisfacer esos requisitos, pero es probable que gigantes tecnológicos como OpenAI, Google y Microsoft lo hagan muy pronto. Los modelos de IA (en esencia, motores estadísticos masivos que identifican y predicen patrones en los datos) en general se han vuelto más precisos a medida que han crecido, una tendencia que muchos esperan que continúe. Mark Zuckerberg dijo recientemente que la próxima generación de Llama de Meta Requiere 10 veces más computaciónlo que lo colocaría bajo la autoridad de la SB 1047.
Cuando se trata de modelos de código abierto y sus derivados, el proyecto de ley determinó que el desarrollador original es responsable a menos que otro desarrollador gaste otros 10 millones de dólares en crear un derivado del modelo original.
El proyecto de ley también exige un protocolo de seguridad para evitar el uso indebido de los productos de IA cubiertos, incluido un botón de “parada de emergencia” que apague todo el modelo de IA. Los desarrolladores también deben crear procedimientos de prueba que aborden los riesgos que plantean los modelos de IA y deben contratar auditores externos anualmente para evaluar sus prácticas de seguridad de IA.
El resultado debe ser una “garantía razonable” de que seguir estos protocolos evitará daños críticos. no certeza absoluta, que por supuesto es imposible de proporcionar.
¿Quién lo haría cumplir y cómo?
Una nueva agencia de California, la Junta de Modelos Fronterizos, supervisaría las normas. Cada nuevo modelo de inteligencia artificial público que cumpla con los umbrales de la SB 1047 debe estar certificado individualmente con una copia escrita de su protocolo de seguridad.
La Junta de Modelos Fronterizos estaría gobernada por nueve personas, incluidos representantes de la industria de la IA, la comunidad de código abierto y el mundo académico, designados por el gobernador y la legislatura de California. La junta asesorará al fiscal general de California sobre posibles violaciones de la SB 1047 y emitirá orientación a los desarrolladores de modelos de IA sobre prácticas de seguridad.
El director de tecnología de un desarrollador debe presentar una certificación anual a la junta en la que se evalúen los riesgos potenciales de su modelo de IA, la eficacia de su protocolo de seguridad y una descripción de cómo la empresa cumple con la SB 1047. De manera similar a las notificaciones de infracciones, si ocurre un “incidente de seguridad de IA”, el desarrollador debe informarlo al FMD dentro de las 72 horas posteriores a su conocimiento del incidente.
Si las medidas de seguridad de un desarrollador resultan insuficientes, la SB 1047 permite al fiscal general de California emitir una orden judicial contra el desarrollador. Eso podría significar que el desarrollador tendría que dejar de operar o entrenar a su modelo.
Si se descubre que un modelo de IA se utiliza en un evento catastrófico, el fiscal general de California puede demandar a la empresa. En el caso de un modelo cuyo entrenamiento cueste 100 millones de dólares, las sanciones podrían llegar a los 10 millones de dólares por la primera infracción y a los 30 millones por infracciones posteriores. Esa tasa de penalización aumenta a medida que los modelos de IA se vuelven más caros.
Por último, el proyecto de ley incluye protecciones para los empleados que puedan denunciar irregularidades si intentan revelar información sobre un modelo de IA inseguro al fiscal general de California.
¿Qué dicen los proponentes?
El senador estatal de California Scott Wiener, autor del proyecto de ley y representante de San Francisco, le dice a TechCrunch que SB 1047 es un intento de aprender de los errores de políticas pasadas con las redes sociales y la privacidad de los datos, y proteger a los ciudadanos antes de que sea demasiado tarde.
“Tenemos una historia de esperar a que ocurran los daños tecnológicos y luego lamentarnos”, dijo Wiener. “No esperemos a que ocurra algo malo. Simplemente adelantémonos a ello”.
Incluso si una empresa capacita a un modelo de 100 millones de dólares en Texas, o en Francia, estará amparada por la ley SB 1047 mientras haga negocios en California. Wiener dice que el Congreso ha hecho “muy poca legislación en torno a la tecnología durante el último cuarto de siglo”, por lo que cree que California debe sentar un precedente en este sentido.
Cuando se le preguntó si se había reunido con OpenAI y Meta sobre la SB 1047, Wiener dijo: “Nos hemos reunido con todos los grandes laboratorios”.
Dos investigadores de IA a los que a veces se les llama los “padrinos de la IA”, Geoffrey Hinton y Yoshua Bengio, han dado su apoyo a este proyecto de ley. Estos dos pertenecen a una facción de la comunidad de IA preocupada por los peligrosos escenarios catastróficos que podría causar la tecnología de IA. Estos “agoreros de la IA” han existido durante un tiempo en el mundo de la investigación, y la SB 1047 podría codificar algunas de sus salvaguardas preferidas en la ley. Otro grupo que patrocina la SB 1047, el Centro para la Seguridad de la IA, escribió un artículo en el que se menciona que la IA es un “desastre”. Carta abierta en mayo de 2023 pidiendo al mundo que priorice la “mitigación del riesgo de extinción por IA” tan seriamente como las pandemias o la guerra nuclear.
“Esto es en el interés a largo plazo de la industria en California y de los EE. UU. en general, porque un incidente de seguridad importante probablemente sería el mayor obstáculo para un mayor avance”, dijo el director del Centro para la Seguridad de la IA, Dan Hendrycks, en un correo electrónico a TechCrunch.
Recientemente, las propias motivaciones de Hendrycks han sido… puesto en cuestiónEn julio, lanzó públicamente una startup, Gray Swan, que crea “herramientas para ayudar a las empresas a evaluar los riesgos de sus sistemas de IA”, según un informe. presione soltar. Tras las críticas de que la startup de Hendrycks podría salir ganando si se aprueba el proyecto de ley, posiblemente como uno de los auditores que la SB 1047 requiere que contraten los desarrolladores, se deshizo de su participación accionaria en Cisne Gris.
“Me deshice de mi inversión para enviar una señal clara”, dijo Hendrycks en un correo electrónico a TechCrunch. “Si los multimillonarios inversores de capital riesgo que se oponen a la seguridad de la IA basada en el sentido común quieren demostrar que sus motivos son puros, que sigan su ejemplo”.
Después de que se agregaron varias de las enmiendas sugeridas por Anthropic a SB 1047, el director ejecutivo Dario Amodei emitió una carta diciendo que los “beneficios del proyecto de ley probablemente superan sus costos”. No es un respaldo, pero es una señal tibia de apoyo. Poco después de eso, Elon Musk señaló que estaba a favor del proyecto de ley.
¿Qué dicen los opositores?
Un coro creciente de actores de Silicon Valley se opone a la SB 1047.
La “oposición multimillonaria de capital de riesgo” de Hendrycks probablemente se refiere a a16z, la empresa de capital de riesgo fundada por Marc Andreessen y Ben Horowitz, que se ha opuesto firmemente a la SB 1047. A principios de agosto, el director jurídico de la empresa de capital de riesgo, Jaikumar Ramaswamy, presentó una carta Al senador Wiener, le dijeron que el proyecto de ley “será una carga para las empresas emergentes debido a sus umbrales arbitrarios y cambiantes”, lo que crearía un efecto paralizante en el ecosistema de IA. A medida que avance la tecnología de IA, se volverá más cara, lo que significa que más empresas emergentes cruzarán ese umbral de $100 millones y estarán cubiertas por la SB 1047; a16z dice que varias de sus empresas emergentes ya reciben esa cantidad por los modelos de capacitación.
Fei-Fei Li, a menudo llamada la madrina de AI, rompió su silencio sobre la SB 1047 a principios de agosto, escribiendo en un Columna de la fortuna que el proyecto de ley “perjudicará nuestro incipiente ecosistema de IA”. Si bien Li es una pionera reconocida en investigación de IA de Stanford, también se dice que creó un Una startup de inteligencia artificial llamada World Labs en abril, valorada en mil millones de dólares y respaldada por a16z.
Se suma a influyentes académicos de IA, como su colega investigador de Stanford Andrew Ng, quien calificó el proyecto de ley como “un ataque al código abierto” durante un discurso en un evento de Y Combinator en julio. Los modelos de código abierto pueden crear un riesgo adicional para sus creadores, ya que, como cualquier software abierto, son más fáciles de modificar e implementar con fines arbitrarios y potencialmente maliciosos.
El científico jefe de inteligencia artificial de Meta, Yann LeCun, dijo que la SB 1047 dañaría los esfuerzos de investigación y se basa en una “ilusión de 'riesgo existencial' impulsada por un puñado de grupos de expertos delirantes”, en un Publicar en XLlama LLM de Meta es uno de los principales ejemplos de un LLM de código abierto.
Las empresas emergentes tampoco están contentas con el proyecto de ley. Jeremy Nixon, director ejecutivo de la empresa emergente de inteligencia artificial Omniscience y fundador de AGI House SF, un centro para empresas emergentes de inteligencia artificial en San Francisco, teme que la SB 1047 acabe con su ecosistema. Sostiene que los malos actores deberían ser castigados por causar daños críticos, no los laboratorios de inteligencia artificial que desarrollan y distribuyen abiertamente la tecnología.
“Hay una profunda confusión en el proyecto de ley, ya que los LLM pueden diferir de alguna manera en sus niveles de capacidad peligrosa”, dijo Nixon. “Es más que probable, en mi opinión, que todos los modelos tengan capacidades peligrosas según lo define el proyecto de ley”.
IA abierta se opuso a la SB 1047 A fines de agosto, se señaló que las medidas de seguridad nacional relacionadas con los modelos de IA deberían regularse a nivel federal. Apoyó un proyecto de ley federal Eso lo haría.
Pero las grandes empresas tecnológicas, a las que se centra directamente el proyecto de ley, también están en pánico por la SB 1047. La Cámara del Progreso —un grupo comercial que representa a Google, Apple, Amazon y otros gigantes de la gran tecnología— emitió un Carta abierta en contra del proyecto de ley diciendo que la SB 1047 restringe la libertad de expresión y “expulsa la innovación tecnológica de California”. El año pasado, el director ejecutivo de Google, Sundar Pichai, y otros ejecutivos tecnológicos Apoyó la idea de una regulación federal de la IA.
El congresista estadounidense Ro Khanna, que representa a Silicon Valley, publicó un… Declaración en contra de la SB 1047 en agosto. Expresó su preocupación por que el proyecto de ley “sería ineficaz, castigaría a los empresarios individuales y a las pequeñas empresas y dañaría el espíritu de innovación de California”. Desde entonces, se le ha unido el presidente Nancy Pelosi y la Cámara de Comercio de Estados Unidos, quienes también han dicho que el proyecto de ley dañaría la innovación.
A Silicon Valley no le suele gustar que California establezca una regulación tecnológica tan amplia como esta. En 2019, las grandes empresas tecnológicas Sacó una carta similar cuando otro proyecto de ley de privacidad estatalLa Ley de Privacidad del Consumidor de California también amenazó con cambiar el panorama tecnológico. Silicon Valley presionó contra ese proyecto de leyy meses antes de que entrara en vigor, el fundador de Amazon, Jeff Bezos, y otros 50 ejecutivos escribió una carta abierta pidiendo un proyecto de ley federal sobre privacidad en cambio.
¿Qué pasa después?
El proyecto de ley SB 1047 se encuentra actualmente en el escritorio del gobernador de California, Gavin Newsom, donde será él quien decida si lo convierte en ley antes de fines de agosto. Wiener dice que no ha hablado con Newsom sobre el proyecto de ley y que no conoce su postura.
Este proyecto de ley no entraría en vigor inmediatamente, ya que la Junta de Modelos Fronterizos se formará en 2026. Además, si el proyecto de ley se aprueba, es muy probable que enfrente desafíos legales antes de esa fecha, tal vez de algunos de los mismos grupos que están hablando al respecto ahora.
Corrección: Esta historia originalmente hacía referencia a un borrador anterior del texto de la SB 1047 sobre quién es responsable de los modelos perfeccionados. Actualmente, la SB 1047 dice que el desarrollador de un modelo derivado solo es responsable de un modelo si gasta tres veces más de lo que gastó el desarrollador del modelo original en capacitación.
