A medida que más y más organizaciones adoptan Inteligencia artificial (IA) y el aprendizaje automático (ML) para optimizar sus operaciones y obtener una ventaja competitiva, existe una creciente atención en la mejor manera de mantener segura esta poderosa tecnología. En el centro de esto se encuentra la datos Se utiliza para entrenar modelos de ML, lo que tiene un impacto fundamental en su comportamiento y rendimiento a lo largo del tiempo. Por ello, las organizaciones deben prestar mucha atención a lo que se introduce en sus modelos y estar constantemente alertas a cualquier señal de algo extraño, como la corrupción de datos.
Lamentablemente, a medida que la popularidad de los modelos de ML ha aumentado, también lo ha hecho el riesgo de ataques maliciosos de puerta trasera en los que los delincuentes utilizan técnicas de envenenamiento de datos para alimentar los modelos de ML con datos comprometidos, lo que hace que se comporten de manera imprevista o dañina cuando se activan con comandos específicos. Si bien estos ataques pueden tardar mucho tiempo en ejecutarse (a menudo requieren grandes cantidades de datos envenenados durante muchos meses), pueden ser increíblemente dañinos cuando tienen éxito. Por este motivo, es algo contra lo que las organizaciones deben protegerse, en particular en la etapa fundacional de cualquier nuevo modelo de ML.
Un buen ejemplo de este panorama de amenazas es la técnica Sleepy Pickle. El blog Trail of Bits explica que esta técnica aprovecha la omnipresente y notoriamente insegura técnica Pickle. archivo Formato utilizado para empaquetar y distribuir modelos de ML. Sleepy Pickle va más allá de las técnicas de explotación anteriores que apuntan a los sistemas de una organización cuando implementan modelos de ML para, en cambio, comprometer subrepticiamente el modelo de ML en sí. Con el tiempo, esto permite a los atacantes apuntar a los usuarios finales del modelo de la organización, lo que puede causar importantes seguridad Problemas si tiene éxito.
Arquitecto de soluciones senior en HackerOne.
El surgimiento de MLSecOps
Para combatir amenazas como estas, un número cada vez mayor de organizaciones han comenzado a implementar MLSecOps como parte de sus ciclos de desarrollo.
En esencia, MLSecOps integra prácticas y consideraciones de seguridad en el proceso de desarrollo e implementación de ML. Esto incluye garantizar la privacidad y la seguridad de los datos utilizados para entrenar y probar modelos y proteger los modelos ya implementados de ataques maliciosos, junto con la infraestructura en la que se ejecutan.
Algunos ejemplos de actividades de MLSecOps incluyen la realización de modelos de amenazas, la implementación de… codificación prácticas, realización de auditorías de seguridad, respuesta a incidentes para sistemas y modelos de ML, y garantía de transparencia y explicabilidad para evitar sesgos involuntarios en la toma de decisiones.
Los pilares fundamentales de MLSecOps
¿Qué diferencia a MLSecOps de otras disciplinas como DevOps es que se ocupa exclusivamente de cuestiones de seguridad dentro de los sistemas de ML. Con esto en mente, hay cinco pilares básicos de MLSecOps, popularizados por la comunidad MLSecOps, que juntos forman un marco de riesgo eficaz:
Vulnerabilidad de la cadena de suministro
La vulnerabilidad de la cadena de suministro de ML se puede definir como la posibilidad de que se produzcan violaciones de seguridad o ataques a los sistemas y componentes que conforman la cadena de suministro de la tecnología de ML. Esto puede incluir problemas con elementos como componentes de software/hardware, redes de comunicaciones, almacenamiento y gestión de datos. Desafortunadamente, los cibercriminales pueden aprovechar todas estas vulnerabilidades para acceder a información valiosa, robar datos confidenciales e interrumpir las operaciones comerciales. Para mitigar estos riesgos, las organizaciones deben implementar medidas de seguridad sólidas, que incluyen la supervisión y actualización continua de sus sistemas para mantenerse a la vanguardia de las amenazas emergentes.
Gobernanza, riesgo y cumplimiento
Mantener el cumplimiento de una amplia gama de leyes y regulaciones como el Reglamento General de Protección de Datos (RGPD) se ha convertido en una parte esencial de las empresas modernas, lo que evita consecuencias legales y financieras de gran alcance, así como posibles daños a la reputación. Sin embargo, con la popularidad de AI Al crecer a un ritmo exponencial, la creciente dependencia de los modelos de ML hace que sea cada vez más difícil para las empresas realizar un seguimiento de los datos y garantizar el cumplimiento.
MLSecOps puede identificar rápidamente códigos y componentes alterados y situaciones en las que la integridad y el cumplimiento subyacentes de un marco de IA pueden ponerse en duda. Esto ayuda a las organizaciones a garantizar que se cumplan los requisitos de cumplimiento y se mantenga la integridad de los datos confidenciales.
Procedencia del modelo
La procedencia del modelo implica hacer un seguimiento del manejo de los datos y los modelos de ML en el flujo de trabajo. El mantenimiento de registros debe ser seguro, proteger la integridad y ser rastreable. El acceso y el control de versiones de los datos, los modelos de ML y los parámetros del flujo de trabajo, el registro y la supervisión son controles cruciales con los que MLSecOps puede ayudar de manera eficaz.
IA confiable
La IA confiable es un término que se utiliza para describir los sistemas de IA que están diseñados para ser justos, imparciales y explicables. Para lograrlo, los sistemas de IA confiables deben ser transparentes y tener la capacidad de explicar las decisiones que toman de manera clara y concisa. Si el proceso de toma de decisiones de un sistema de IA no se puede entender, entonces no se puede confiar en él, pero al hacerlo explicable, se vuelve responsable y, por lo tanto, confiable.
ML adversarial
La defensa contra ataques maliciosos a los modelos de aprendizaje automático es crucial. Sin embargo, como se mencionó anteriormente, estos ataques pueden adoptar muchas formas, lo que hace que identificarlos y prevenirlos sea extremadamente difícil. El objetivo del aprendizaje automático adversario es desarrollar técnicas y estrategias para defenderse de dichos ataques, mejorando la solidez y la seguridad de los modelos y sistemas de aprendizaje automático a lo largo del camino.
Para lograrlo, los investigadores han desarrollado técnicas que pueden detectar y mitigar ataques en tiempo real. Algunas de las técnicas más comunes incluyen el uso de modelos generativos para crear datos de entrenamiento sintéticos, la incorporación de ejemplos adversarios en el proceso de entrenamiento y el desarrollo de clasificadores robustos que puedan manejar entradas ruidosas.
En un intento por aprovechar rápidamente los beneficios que ofrecen la IA y el ML, muchas organizaciones ponen en riesgo la seguridad de sus datos al no centrarse en las elevadas amenazas cibernéticas que conllevan. MLSecOps ofrece un marco poderoso que puede ayudar a garantizar que se implemente el nivel adecuado de protección mientras los desarrolladores e ingenieros de software se acostumbran a estas tecnologías emergentes y sus riesgos asociados. Si bien es posible que no sea necesario durante mucho tiempo, será invaluable en los próximos años, por lo que vale la pena invertir en él para las organizaciones que se toman en serio la seguridad de los datos.
Presentamos el mejor curso de ciberseguridad en línea.
Este artículo se elaboró como parte del canal Expert Insights de TechRadarPro, donde presentamos a las mentes más brillantes y destacadas de la industria tecnológica actual. Las opiniones expresadas aquí son las del autor y no necesariamente las de TechRadarPro o Future plc. Si está interesado en contribuir, obtenga más información aquí: https://www.techradar.com/news/submit-your-story-to-techradar-pro
