Entre los otros ataques creados por Bargury hay una demostración de cómo un hacker (que, nuevamente, ya debe haber secuestrado una cuenta de correo electrónico) puede obtener acceso a información confidencial, como los salarios de las personas, sin Activación de las protecciones de Microsoft para archivos confidencialesAl solicitar los datos, Bargury exige que el sistema no proporcione referencias a los archivos de los que se extraen los datos. “Un poco de intimidación ayuda”, dice Bargury.
En otros casos, muestra cómo un atacante, que no tiene acceso a las cuentas de correo electrónico pero envenena la base de datos de la IA enviándole un correo electrónico malicioso, puede manipular respuestas sobre información bancaria para proporcionar sus propios datos bancarios. “Cada vez que le das acceso a la IA a los datos, es una forma de que un atacante entre”, dice Bargury.
Otra demostración muestra cómo un pirata informático externo podría obtener información limitada sobre si un ataque futuro… La conferencia telefónica sobre los resultados de la empresa será buena o malamientras que la última instancia, dice Bargury, convierte a Copilot en un “infiltrante malicioso”” al proporcionar a los usuarios enlaces a sitios web de phishing.
Phillip Misner, responsable de detección y respuesta a incidentes de IA en Microsoft, afirma que la empresa agradece que Bargury haya identificado la vulnerabilidad y afirma que ha estado trabajando con él para evaluar los hallazgos. “Los riesgos de abuso de la IA después de una vulneración son similares a los de otras técnicas posteriores a una vulneración”, afirma Misner. “La prevención y el control de la seguridad en todos los entornos e identidades ayudan a mitigar o detener tales comportamientos”.
Como sistemas de IA generativos, como ChatGPT de OpenAI, Copiloto de Microsofty Géminis de Googlese han desarrollado en los últimos dos años, han pasado a una trayectoria en la que eventualmente podrían ser Realizar tareas para otras personas, como reservar reuniones o realizar compras en línea.Sin embargo, los investigadores de seguridad han destacado constantemente que permitir que los datos externos ingresen a los sistemas de IA, como a través de correos electrónicos o el acceso a contenido de sitios web, crea riesgos de seguridad a través de inyección indirecta inmediata y ataques de envenenamiento.
“Creo que no se entiende muy bien cuánto más efectivo puede llegar a ser un atacante en la actualidad”, dice Johann Rehberger, investigador de seguridad y director del equipo rojo, que ha debilidades de seguridad ampliamente demostradas en los sistemas de IA“Lo que nos tiene que preocupar ahora es qué es lo que el LLM produce y envía al usuario”.
Bargury dice que Microsoft ha puesto mucho esfuerzo en proteger su sistema Copilot de ataques de inyección rápida, pero dice que encontró formas de explotarlo desentrañando cómo está construido el sistema. Esto incluía Extraer el mensaje interno del sistemadice, y trabajando en cómo se puede acceder. recursos empresariales y las técnicas que utiliza para hacerlo. “Hablas con Copilot y es una conversación limitada, porque Microsoft ha puesto muchos controles”, dice. “Pero una vez que usas algunas palabras mágicas, se abre y puedes hacer lo que quieras”.
Rehberger advierte en términos generales que algunos problemas de datos están relacionados con el problema de larga data de las empresas que permiten a demasiados empleados acceder a los archivos y no establecen correctamente los permisos de acceso en toda la organización. “Ahora imaginemos que ponemos a Copilot encima de ese problema”, dice Rehberger. Dice que ha utilizado sistemas de inteligencia artificial para buscar contraseñas comunes, como Password123, y ha obtenido resultados dentro de las empresas.
Tanto Rehberger como Bargury afirman que es necesario centrarse más en supervisar lo que una IA produce y envía a un usuario. “El riesgo está en cómo la IA interactúa con su entorno, cómo interactúa con sus datos, cómo realiza operaciones en su nombre”, afirma Bargury. “Es necesario averiguar qué hace el agente de IA en nombre de un usuario y si eso tiene sentido con lo que el usuario realmente pidió”.
