Si bien los legisladores de la mayoría de los países todavía están discutiendo cómo poner barreras a la inteligencia artificial, la Unión Europea está a la vanguardia, ya que aprobó un marco basado en riesgos para regular las aplicaciones de IA a principios de este año.
La ley entró en vigor en agostoaunque aún se están elaborando todos los detalles del régimen de gobernanza de la IA en toda la UE. Se están elaborando códigos de prácticaPor ejemplo. Pero, en los próximos meses y años, las disposiciones escalonadas de la ley comenzarán a aplicarse a los fabricantes de aplicaciones y modelos de IA, por lo que la cuenta atrás para el cumplimiento ya está en marcha.
El próximo desafío es evaluar si los modelos de IA cumplen con sus obligaciones legales y cómo lo hacen. Los modelos de lenguaje grande (LLM) y otras IA denominadas básicas o de propósito general sustentarán la mayoría de las aplicaciones de IA. Por lo tanto, parece importante centrar los esfuerzos de evaluación en esta capa de la IA.
Dar un paso IA de flujo de celosíauna derivación de la universidad pública de investigación ETH Zurich, que se centra en la gestión de riesgos y el cumplimiento de la IA.
El miércoles, publicó lo que promociona como la primera interpretación técnica de la Ley de IA de la UE, lo que significa que busca correlacionar los requisitos regulatorios con los técnicos, junto con un marco de validación de LLM de código abierto que se basa en este trabajo, al que llama. Compl-IA ('compl-ai'… ¡mira lo que hicieron allí!).
La iniciativa de evaluación del modelo de IA, que también denominan “el primer conjunto de evaluaciones comparativas de LLM orientada a la regulación”, es el resultado de una colaboración a largo plazo entre el Instituto Federal Suizo de Tecnología y el Instituto de Ciencias de la Computación, Inteligencia Artificial y Tecnología de Bulgaria (INSAIT). ), según LatticeFlow.
Los creadores de modelos de IA pueden utilizar el sitio Compl-AI para solicitar una evaluación de la conformidad de su tecnología con los requisitos de la Ley de IA de la UE.
LatticeFlow también ha publicado evaluaciones de modelos de varios LLM convencionales, como diferentes versiones/tamaños de los modelos Llama de Meta y GPT de OpenAI, junto con un Tabla de clasificación de cumplimiento de la Ley de IA de la UE para la gran IA.
Este último clasifica el desempeño de modelos como Anthropic, Google, OpenAI, Meta y Mistral en comparación con los requisitos de la ley, en una escala de 0 (es decir, sin cumplimiento) a 1 (cumplimiento total).
Otras evaluaciones se marcan como N/A cuando faltan datos o si el fabricante del modelo no pone la capacidad a disposición. (NB: al momento de escribir este artículo también se registraron algunas puntuaciones negativas, pero nos dijeron que se debió a un error en la interfaz de Hugging Face).
El marco de LatticeFlow evalúa las respuestas de LLM a través de 27 puntos de referencia, como “finalización tóxica de texto benigno”, “respuestas prejuiciosas”, “seguimiento de instrucciones dañinas”, “veracidad” y “razonamiento de sentido común”, por nombrar algunas de las categorías de evaluación comparativa que utiliza para el evaluaciones. Entonces, cada modelo obtiene un rango de puntuaciones en cada columna (o N/A).
El cumplimiento de la IA es una mezcla
Entonces, ¿cómo les fue a los principales LLM? No hay una puntuación general del modelo. Por lo tanto, el rendimiento varía dependiendo exactamente de lo que se evalúa, pero hay algunos altibajos notables en los distintos puntos de referencia.
Por ejemplo, todos los modelos tienen un buen rendimiento en cuanto a no seguir instrucciones dañinas; y un desempeño relativamente sólido en todos los ámbitos en no producir respuestas prejuiciosas, mientras que las puntuaciones de razonamiento y conocimiento general fueron mucho más heterogéneas.
En otros lugares, la coherencia de las recomendaciones, que el marco utiliza como medida de equidad, fue particularmente pobre para todos los modelos: ninguno obtuvo una puntuación por encima de la mitad (y la mayoría obtuvo una puntuación muy por debajo).
Otras áreas, como la idoneidad de los datos de entrenamiento y la confiabilidad y solidez de las marcas de agua, parecen esencialmente no evaluadas debido a la cantidad de resultados marcados como N/A.
LatticeFlow señala que hay ciertas áreas donde el cumplimiento de los modelos es más difícil de evaluar, como temas candentes como los derechos de autor y la privacidad. Así que no pretendes tener todas las respuestas.
En un artículo que detalla el trabajo sobre el marco, los científicos involucrados en el proyecto resaltan cómo la mayoría de los modelos más pequeños que evaluaron (≤ 13 mil millones de parámetros) “obtuvieron puntajes bajos en solidez técnica y seguridad”.
También encontraron que “casi todos los modelos examinados luchan por lograr altos niveles de diversidad, no discriminación y equidad”.
“Creemos que estas deficiencias se deben principalmente a que los proveedores de modelos se centran desproporcionadamente en mejorar las capacidades del modelo, a expensas de otros aspectos importantes destacados por los requisitos reglamentarios de la Ley de IA de la UE”, añaden, sugiriendo que a medida que los plazos de cumplimiento comiencen a afectar a los fabricantes de LLM, se verán obligados a cambiar su enfoque hacia áreas de preocupación, “lo que conducirá a un desarrollo más equilibrado de los LLM”.
Dado que nadie sabe todavía exactamente qué se requerirá para cumplir con la Ley de IA de la UE, el marco de LatticeFlow es necesariamente un trabajo en progreso. También es sólo una interpretación de cómo los requisitos de la ley podrían traducirse en resultados técnicos que puedan ser evaluados y comparados. Pero es un comienzo interesante en lo que necesitará ser un esfuerzo continuo para probar tecnologías de automatización poderosas y tratar de guiar a sus desarrolladores hacia una utilidad más segura.
“El marco es un primer paso hacia una evaluación completa centrada en el cumplimiento de la Ley de IA de la UE, pero está diseñado de manera que pueda actualizarse fácilmente para avanzar al mismo ritmo a medida que la Ley se actualiza y los diversos grupos de trabajo avanzan”. Petar Tsankov, director ejecutivo de LatticeFlow, dijo a TechCrunch. “La Comisión de la UE apoya esto. Esperamos que la comunidad y la industria continúen desarrollando el marco hacia una plataforma de evaluación de la Ley de IA completa e integral”.
Al resumir las principales conclusiones hasta el momento, Tsankov dijo que está claro que los modelos de IA “se han optimizado predominantemente para las capacidades más que para el cumplimiento”. También señaló “brechas de desempeño notables”, señalando que algunos modelos de alta capacidad pueden estar a la par de modelos más débiles en lo que respecta al cumplimiento.
La resiliencia a los ciberataques (a nivel de modelo) y la equidad son áreas de particular preocupación, según Tsankov, y muchos modelos obtienen una puntuación inferior al 50% en la primera área.
“Si bien Anthropic y OpenAI han alineado con éxito sus modelos (cerrados) para resistir jailbreaks e inyecciones rápidas, los proveedores de código abierto como Mistral han puesto menos énfasis en esto”, dijo.
Y dado que “la mayoría de los modelos” tienen un desempeño igualmente deficiente en los puntos de referencia de equidad, sugirió que esto debería ser una prioridad para el trabajo futuro.
En cuanto a los desafíos de comparar el desempeño del LLM en áreas como los derechos de autor y la privacidad, Tsankov explicó: “En el caso de los derechos de autor, el desafío es que los puntos de referencia actuales sólo verifican los libros protegidos por derechos de autor. Este enfoque tiene dos limitaciones principales: (i) no tiene en cuenta posibles violaciones de derechos de autor que involucran materiales distintos de estos libros específicos, y (ii) se basa en cuantificar la memorización del modelo, lo cual es notoriamente difícil.
“En cuanto a la privacidad, el desafío es similar: el punto de referencia sólo intenta determinar si el modelo ha memorizado información personal específica”.
LatticeFlow desea que la comunidad de investigación de IA en general adopte y mejore el marco gratuito y de código abierto.
“Invitamos a investigadores, desarrolladores y reguladores de IA a unirse a nosotros para avanzar en este proyecto en evolución”, dijo en un comunicado el profesor Martin Vechev de ETH Zurich y fundador y director científico de INSAIT, quien también participa en el trabajo. “Alentamos a otros grupos de investigación y profesionales a contribuir perfeccionando el mapeo de la Ley de IA, agregando nuevos puntos de referencia y ampliando este marco de código abierto.
“La metodología también se puede ampliar para evaluar los modelos de IA frente a futuros actos regulatorios más allá de la Ley de IA de la UE, lo que la convierte en una herramienta valiosa para las organizaciones que trabajan en diferentes jurisdicciones”.
